OPENMPI detected AcceleratorCudaInit: IBM Summit or similar - use default device AcceleratorCudaInit: ================================================ SharedMemoryMpi: World communicator of size 6 SharedMemoryMpi: Node communicator of size 6 SharedMemoryMpi: SharedMemoryMPI.cc cudaMalloc 2147483648bytes at 0x200080000000 for comms buffers OPENMPI detected OPENMPI detected OPENMPI detected __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ __|_ | | | | | | | | | | | | _|__ __|_ _|__ __|_ GGGG RRRR III DDDD _|__ __|_ G R R I D D _|__ __|_ G R R I D D _|__ __|_ G GG RRRR I D D _|__ __|_ G G R R I D D _|__ __|_ GGGG R R III DDDD _|__ __|_ _|__ __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ | | | | | | | | | | | | | | Copyright (C) 2015 Peter Boyle, Azusa Yamaguchi, Guido Cossu, Antonin Portelli and other authors This program is free software; you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation; either version 2 of the License, or (at your option) any later version. This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details. Current Grid git commit hash=bf3c9857e0409036ddb9922775e3c7c8d7e331af: (HEAD, develop) uncommited changes Grid : Message : ================================================ Grid : Message : MPI is initialised and logging filters activated Grid : Message : ================================================ Grid : Message : Requested 2147483648 byte stencil comms buffers Grid : Message : MemoryManager::Init() setting up Grid : Message : MemoryManager::Init() cache pool for recent allocations: SMALL 32 LARGE 8 Grid : Message : MemoryManager::Init() Unified memory space Grid : Message : MemoryManager::Init() Using cudaMallocManaged Grid : Message : 2.539325 s : ================================================================================== Grid : Message : 2.539340 s : = Grid is setup to use 4 threads Grid : Message : 2.539350 s : ================================================================================== Grid : Message : 2.539359 s : Grid Default Decomposition patterns Grid : Message : 2.539367 s : OpenMP threads : 4 Grid : Message : 2.539377 s : MPI tasks : 1 1 1 6 Grid : Message : 2.539393 s : vReal : 512bits ; 1 2 2 2 Grid : Message : 2.539406 s : vRealF : 512bits ; 2 2 2 2 Grid : Message : 2.539418 s : vRealD : 512bits ; 1 2 2 2 Grid : Message : 2.539430 s : vComplex : 512bits ; 1 1 2 2 Grid : Message : 2.539442 s : vComplexF : 512bits ; 1 2 2 2 Grid : Message : 2.539456 s : vComplexD : 512bits ; 1 1 2 2 Grid : Message : 2.539469 s : ================================================================================== Grid : Message : 2.539478 s : ================================================================================== Grid : Message : 2.539487 s : Wilson dslash 4D vectorised Grid : Message : 2.539496 s : ================================================================================== OPENMPI detected OPENMPI detected Grid : Message : 2.550166 s : ================================================================================== Grid : Message : 2.550182 s : Benchmark DWF on 8^4 local volume Grid : Message : 2.550193 s : * Nc : 3 Grid : Message : 2.550203 s : * Global volume : 8 8 8 48 Grid : Message : 2.550219 s : * Ls : 1 Grid : Message : 2.550229 s : * ranks : 6 Grid : Message : 2.550239 s : * nodes : 1 Grid : Message : 2.550248 s : * ranks/node : 6 Grid : Message : 2.550257 s : * ranks geom : 1 1 1 6 Grid : Message : 2.550268 s : * Using 4 threads Grid : Message : 2.550279 s : ================================================================================== Grid : Message : 2.610137 s : Initialised RNGs Grid : Message : 2.810517 s : ================================================================================== Grid : Message : 2.810674 s : * Using GENERIC Nc WilsonKernels Grid : Message : 2.810810 s : * Using sequential Comms/Compute Grid : Message : 2.810944 s : * SINGLE precision Grid : Message : 2.811077 s : ================================================================================== Grid : Message : 2.921298 s : Deo FlopsPerSite is 1200 Grid : Message : 2.921349 s : Deo mflop/s = 78414.0 (429.0) 24658.2-85234.7 Grid : Message : 2.921367 s : Deo mflop/s per rank 13069.0 Grid : Message : 2.921378 s : Deo mflop/s per node 78414.0 Grid : Message : 2.921389 s : ================================================================================== Grid : Message : 2.921398 s : * Using GENERIC Nc WilsonKernels Grid : Message : 2.921407 s : * Using Overlapped Comms/Compute Grid : Message : 2.921416 s : * SINGLE precision Grid : Message : 2.921425 s : ================================================================================== Grid : Message : 3.262890 s : Deo FlopsPerSite is 1200.0 Grid : Message : 3.263140 s : Deo mflop/s = 71729.6 (410.1) 35964.9-88828.9 Grid : Message : 3.263310 s : Deo mflop/s per rank 11954.9 Grid : Message : 3.263410 s : Deo mflop/s per node 71729.6 Grid : Message : 3.263520 s : ================================================================================== Grid : Message : 3.263610 s : * Using GENERIC Nc WilsonKernels Grid : Message : 3.263700 s : * Using sequential Comms/Compute Grid : Message : 3.263790 s : * SINGLE precision Grid : Message : 3.263880 s : ================================================================================== Grid : Message : 3.973759 s : Deo FlopsPerSite is 1200.0 Grid : Message : 3.973929 s : Deo mflop/s = 7912.8 (94.1) 6245.5-13060.8 Grid : Message : 3.974149 s : Deo mflop/s per rank 1318.8 Grid : Message : 3.974290 s : Deo mflop/s per node 7912.8 Grid : Message : 3.974430 s : ================================================================================== Grid : Message : 3.974551 s : * Using GENERIC Nc WilsonKernels Grid : Message : 3.974673 s : * Using Overlapped Comms/Compute Grid : Message : 3.974791 s : * SINGLE precision Grid : Message : 3.974911 s : ================================================================================== Grid : Message : 4.171999 s : Deo FlopsPerSite is 1200.0 Grid : Message : 4.172024 s : Deo mflop/s = 39028.7 (853.3) 26473.2-68904.7 Grid : Message : 4.172041 s : Deo mflop/s per rank 6504.8 Grid : Message : 4.172052 s : Deo mflop/s per node 39028.7 Grid : Message : 4.172063 s : ================================================================================== Grid : Message : 4.172072 s : 8^4 x 1 Deo Best mflop/s = 78414.0 ; 78414.0 per node Grid : Message : 4.172088 s : 8^4 x 1 Deo Worst mflop/s = 7912.8 ; 7912.8 per node Grid : Message : 4.172102 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 4.172111 s : 78414.0 ; 71729.6 ; 7912.8 ; 39028.7 ; Grid : Message : 4.172127 s : ================================================================================== Grid : Message : 4.181944 s : ================================================================================== Grid : Message : 4.181965 s : Benchmark DWF on 12^4 local volume Grid : Message : 4.181976 s : * Nc : 3 Grid : Message : 4.181985 s : * Global volume : 12 12 12 72 Grid : Message : 4.182001 s : * Ls : 1 Grid : Message : 4.182010 s : * ranks : 6 Grid : Message : 4.182020 s : * nodes : 1 Grid : Message : 4.182030 s : * ranks/node : 6 Grid : Message : 4.182039 s : * ranks geom : 1 1 1 6 Grid : Message : 4.182051 s : * Using 4 threads Grid : Message : 4.182061 s : ================================================================================== Grid : Message : 4.270004 s : Initialised RNGs Grid : Message : 4.398975 s : ================================================================================== Grid : Message : 4.399147 s : * Using GENERIC Nc WilsonKernels Grid : Message : 4.399302 s : * Using sequential Comms/Compute Grid : Message : 4.399447 s : * SINGLE precision Grid : Message : 4.399582 s : ================================================================================== Grid : Message : 4.507757 s : Deo FlopsPerSite is 1200.0 Grid : Message : 4.507790 s : Deo mflop/s = 365420.7 (555.6) 246368.3-390835.6 Grid : Message : 4.507808 s : Deo mflop/s per rank 60903.4 Grid : Message : 4.507819 s : Deo mflop/s per node 365420.7 Grid : Message : 4.507830 s : ================================================================================== Grid : Message : 4.507839 s : * Using GENERIC Nc WilsonKernels Grid : Message : 4.507848 s : * Using Overlapped Comms/Compute Grid : Message : 4.507857 s : * SINGLE precision Grid : Message : 4.507866 s : ================================================================================== Grid : Message : 4.621659 s : Deo FlopsPerSite is 1200.0 Grid : Message : 4.621681 s : Deo mflop/s = 334727.6 (2470.4) 139271.6-417036.9 Grid : Message : 4.621698 s : Deo mflop/s per rank 55787.9 Grid : Message : 4.621709 s : Deo mflop/s per node 334727.6 Grid : Message : 4.621720 s : ================================================================================== Grid : Message : 4.621729 s : * Using GENERIC Nc WilsonKernels Grid : Message : 4.621738 s : * Using sequential Comms/Compute Grid : Message : 4.621747 s : * SINGLE precision Grid : Message : 4.621755 s : ================================================================================== Grid : Message : 5.525788 s : Deo FlopsPerSite is 1200.0 Grid : Message : 5.525971 s : Deo mflop/s = 42026.4 (214.5) 37663.8-59671.9 Grid : Message : 5.526218 s : Deo mflop/s per rank 7004.4 Grid : Message : 5.526379 s : Deo mflop/s per node 42026.4 Grid : Message : 5.526540 s : ================================================================================== Grid : Message : 5.526678 s : * Using GENERIC Nc WilsonKernels Grid : Message : 5.526813 s : * Using Overlapped Comms/Compute Grid : Message : 5.526949 s : * SINGLE precision Grid : Message : 5.527082 s : ================================================================================== Grid : Message : 5.650487 s : Deo FlopsPerSite is 1200.0 Grid : Message : 5.650508 s : Deo mflop/s = 316102.9 (264.1) 270469.6-328852.9 Grid : Message : 5.650525 s : Deo mflop/s per rank 52683.8 Grid : Message : 5.650535 s : Deo mflop/s per node 316102.9 Grid : Message : 5.650546 s : ================================================================================== Grid : Message : 5.650555 s : 12^4 x 1 Deo Best mflop/s = 365420.7 ; 365420.7 per node Grid : Message : 5.650570 s : 12^4 x 1 Deo Worst mflop/s = 42026.4 ; 42026.4 per node Grid : Message : 5.650591 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 5.650604 s : 365420.7 ; 334727.6 ; 42026.4 ; 316102.9 ; Grid : Message : 5.650626 s : ================================================================================== Grid : Message : 5.667177 s : ================================================================================== Grid : Message : 5.667197 s : Benchmark DWF on 16^4 local volume Grid : Message : 5.667208 s : * Nc : 3 Grid : Message : 5.667217 s : * Global volume : 16 16 16 96 Grid : Message : 5.667233 s : * Ls : 1 Grid : Message : 5.667242 s : * ranks : 6 Grid : Message : 5.667253 s : * nodes : 1 Grid : Message : 5.667262 s : * ranks/node : 6 Grid : Message : 5.667271 s : * ranks geom : 1 1 1 6 Grid : Message : 5.667283 s : * Using 4 threads Grid : Message : 5.667293 s : ================================================================================== Grid : Message : 5.802372 s : Initialised RNGs Grid : Message : 6.517510 s : ================================================================================== Grid : Message : 6.519140 s : * Using GENERIC Nc WilsonKernels Grid : Message : 6.520520 s : * Using sequential Comms/Compute Grid : Message : 6.521880 s : * SINGLE precision Grid : Message : 6.523230 s : ================================================================================== Grid : Message : 6.191780 s : Deo FlopsPerSite is 1200.0 Grid : Message : 6.191812 s : Deo mflop/s = 929127.4 (1523.0) 635928.8-1043936.3 Grid : Message : 6.191830 s : Deo mflop/s per rank 154854.6 Grid : Message : 6.191842 s : Deo mflop/s per node 929127.4 Grid : Message : 6.191853 s : ================================================================================== Grid : Message : 6.191862 s : * Using GENERIC Nc WilsonKernels Grid : Message : 6.191871 s : * Using Overlapped Comms/Compute Grid : Message : 6.191880 s : * SINGLE precision Grid : Message : 6.191889 s : ================================================================================== Grid : Message : 6.320404 s : Deo FlopsPerSite is 1200.0 Grid : Message : 6.320429 s : Deo mflop/s = 936905.2 (4212.0) 660867.2-1118149.8 Grid : Message : 6.320447 s : Deo mflop/s per rank 156150.9 Grid : Message : 6.320458 s : Deo mflop/s per node 936905.2 Grid : Message : 6.320469 s : ================================================================================== Grid : Message : 6.320478 s : * Using GENERIC Nc WilsonKernels Grid : Message : 6.320487 s : * Using sequential Comms/Compute Grid : Message : 6.320496 s : * SINGLE precision Grid : Message : 6.320505 s : ================================================================================== Grid : Message : 7.909080 s : Deo FlopsPerSite is 1200.0 Grid : Message : 7.910860 s : Deo mflop/s = 156293.4 (599.7) 143161.2-227292.5 Grid : Message : 7.913370 s : Deo mflop/s per rank 26048.9 Grid : Message : 7.914960 s : Deo mflop/s per node 156293.4 Grid : Message : 7.916560 s : ================================================================================== Grid : Message : 7.917890 s : * Using GENERIC Nc WilsonKernels Grid : Message : 7.919250 s : * Using Overlapped Comms/Compute Grid : Message : 7.920600 s : * SINGLE precision Grid : Message : 7.921940 s : ================================================================================== Grid : Message : 7.236075 s : Deo FlopsPerSite is 1200.0 Grid : Message : 7.236096 s : Deo mflop/s = 870120.2 (609.7) 819200.0-900494.7 Grid : Message : 7.236113 s : Deo mflop/s per rank 145020.0 Grid : Message : 7.236124 s : Deo mflop/s per node 870120.2 Grid : Message : 7.236135 s : ================================================================================== Grid : Message : 7.236144 s : 16^4 x 1 Deo Best mflop/s = 936905.2 ; 936905.2 per node Grid : Message : 7.236158 s : 16^4 x 1 Deo Worst mflop/s = 156293.4 ; 156293.4 per node Grid : Message : 7.236172 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 7.236181 s : 929127.4 ; 936905.2 ; 156293.4 ; 870120.2 ; Grid : Message : 7.236197 s : ================================================================================== Grid : Message : 7.269216 s : ================================================================================== Grid : Message : 7.269243 s : Benchmark DWF on 24^4 local volume Grid : Message : 7.269254 s : * Nc : 3 Grid : Message : 7.269263 s : * Global volume : 24 24 24 144 Grid : Message : 7.269280 s : * Ls : 1 Grid : Message : 7.269289 s : * ranks : 6 Grid : Message : 7.269300 s : * nodes : 1 Grid : Message : 7.269310 s : * ranks/node : 6 Grid : Message : 7.269319 s : * ranks geom : 1 1 1 6 Grid : Message : 7.269331 s : * Using 4 threads Grid : Message : 7.269341 s : ================================================================================== Grid : Message : 7.716078 s : Initialised RNGs Grid : Message : 8.639229 s : ================================================================================== Grid : Message : 8.639398 s : * Using GENERIC Nc WilsonKernels Grid : Message : 8.639547 s : * Using sequential Comms/Compute Grid : Message : 8.639569 s : * SINGLE precision Grid : Message : 8.639591 s : ================================================================================== Grid : Message : 8.933780 s : Deo FlopsPerSite is 1200.0 Grid : Message : 8.933813 s : Deo mflop/s = 2403409.5 (3655.3) 2088100.7-2602164.7 Grid : Message : 8.933831 s : Deo mflop/s per rank 400568.3 Grid : Message : 8.933842 s : Deo mflop/s per node 2403409.5 Grid : Message : 8.933853 s : ================================================================================== Grid : Message : 8.933862 s : * Using GENERIC Nc WilsonKernels Grid : Message : 8.933871 s : * Using Overlapped Comms/Compute Grid : Message : 8.933880 s : * SINGLE precision Grid : Message : 8.933889 s : ================================================================================== Grid : Message : 9.181916 s : Deo FlopsPerSite is 1200.0 Grid : Message : 9.181937 s : Deo mflop/s = 2456508.2 (5604.8) 2171624.7-2672021.5 Grid : Message : 9.181954 s : Deo mflop/s per rank 409418.0 Grid : Message : 9.181965 s : Deo mflop/s per node 2456508.2 Grid : Message : 9.181976 s : ================================================================================== Grid : Message : 9.181985 s : * Using GENERIC Nc WilsonKernels Grid : Message : 9.181994 s : * Using sequential Comms/Compute Grid : Message : 9.182003 s : * SINGLE precision Grid : Message : 9.182012 s : ================================================================================== Grid : Message : 10.321980 s : Deo FlopsPerSite is 1200.0 Grid : Message : 10.323760 s : Deo mflop/s = 717151.1 (2949.3) 646316.9-951708.0 Grid : Message : 10.326260 s : Deo mflop/s per rank 119525.2 Grid : Message : 10.327860 s : Deo mflop/s per node 717151.1 Grid : Message : 10.329460 s : ================================================================================== Grid : Message : 10.330810 s : * Using GENERIC Nc WilsonKernels Grid : Message : 10.332160 s : * Using Overlapped Comms/Compute Grid : Message : 10.333530 s : * SINGLE precision Grid : Message : 10.334850 s : ================================================================================== Grid : Message : 10.309985 s : Deo FlopsPerSite is 1200.0 Grid : Message : 10.310006 s : Deo mflop/s = 2236918.3 (925.9) 2152060.5-2288110.3 Grid : Message : 10.310023 s : Deo mflop/s per rank 372819.7 Grid : Message : 10.310034 s : Deo mflop/s per node 2236918.3 Grid : Message : 10.310045 s : ================================================================================== Grid : Message : 10.310054 s : 24^4 x 1 Deo Best mflop/s = 2456508.2 ; 2456508.2 per node Grid : Message : 10.310069 s : 24^4 x 1 Deo Worst mflop/s = 717151.1 ; 717151.1 per node Grid : Message : 10.310083 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 10.310092 s : 2403409.5 ; 2456508.2 ; 717151.1 ; 2236918.3 ; Grid : Message : 10.310108 s : ================================================================================== Grid : Message : 10.441858 s : ================================================================================== Grid : Message : 10.441881 s : Benchmark DWF on 32^4 local volume Grid : Message : 10.441895 s : * Nc : 3 Grid : Message : 10.441904 s : * Global volume : 32 32 32 192 Grid : Message : 10.441920 s : * Ls : 1 Grid : Message : 10.441929 s : * ranks : 6 Grid : Message : 10.441939 s : * nodes : 1 Grid : Message : 10.441948 s : * ranks/node : 6 Grid : Message : 10.441957 s : * ranks geom : 1 1 1 6 Grid : Message : 10.441969 s : * Using 4 threads Grid : Message : 10.441979 s : ================================================================================== Grid : Message : 11.723065 s : Initialised RNGs Grid : Message : 14.357988 s : ================================================================================== Grid : Message : 14.358159 s : * Using GENERIC Nc WilsonKernels Grid : Message : 14.358299 s : * Using sequential Comms/Compute Grid : Message : 14.358433 s : * SINGLE precision Grid : Message : 14.358567 s : ================================================================================== Grid : Message : 15.372645 s : Deo FlopsPerSite is 1200.0 Grid : Message : 15.372680 s : Deo mflop/s = 2176886.5 (11579.4) 650167.7-2327295.7 Grid : Message : 15.372698 s : Deo mflop/s per rank 362814.4 Grid : Message : 15.372709 s : Deo mflop/s per node 2176886.5 Grid : Message : 15.372720 s : ================================================================================== Grid : Message : 15.372729 s : * Using GENERIC Nc WilsonKernels Grid : Message : 15.372738 s : * Using Overlapped Comms/Compute Grid : Message : 15.372747 s : * SINGLE precision Grid : Message : 15.372756 s : ================================================================================== Grid : Message : 16.225649 s : Deo FlopsPerSite is 1200.0 Grid : Message : 16.225676 s : Deo mflop/s = 2257740.0 (3213.9) 1846807.0-2381623.7 Grid : Message : 16.225694 s : Deo mflop/s per rank 376290.0 Grid : Message : 16.225705 s : Deo mflop/s per node 2257740.0 Grid : Message : 16.225716 s : ================================================================================== Grid : Message : 16.225725 s : * Using GENERIC Nc WilsonKernels Grid : Message : 16.225734 s : * Using sequential Comms/Compute Grid : Message : 16.225743 s : * SINGLE precision Grid : Message : 16.225751 s : ================================================================================== Grid : Message : 17.736420 s : Deo FlopsPerSite is 1200.0 Grid : Message : 17.736597 s : Deo mflop/s = 1274956.6 (3556.6) 1150174.8-1521512.9 Grid : Message : 17.736854 s : Deo mflop/s per rank 212492.8 Grid : Message : 17.737015 s : Deo mflop/s per node 1274956.6 Grid : Message : 17.737175 s : ================================================================================== Grid : Message : 17.737308 s : * Using GENERIC Nc WilsonKernels Grid : Message : 17.737442 s : * Using Overlapped Comms/Compute Grid : Message : 17.737575 s : * SINGLE precision Grid : Message : 17.737710 s : ================================================================================== Grid : Message : 18.631183 s : Deo FlopsPerSite is 1200.0 Grid : Message : 18.631207 s : Deo mflop/s = 2157235.8 (2786.2) 1914236.1-2260403.4 Grid : Message : 18.631225 s : Deo mflop/s per rank 359539.3 Grid : Message : 18.631236 s : Deo mflop/s per node 2157235.8 Grid : Message : 18.631247 s : ================================================================================== Grid : Message : 18.631256 s : 32^4 x 1 Deo Best mflop/s = 2257740.0 ; 2257740.0 per node Grid : Message : 18.631273 s : 32^4 x 1 Deo Worst mflop/s = 1274956.6 ; 1274956.6 per node Grid : Message : 18.631292 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 18.631305 s : 2176886.5 ; 2257740.0 ; 1274956.6 ; 2157235.8 ; Grid : Message : 18.631326 s : ================================================================================== Grid : Message : 19.241800 s : ================================================================================== Grid : Message : 19.244600 s : Domain wall dslash 4D vectorised Grid : Message : 19.245600 s : ================================================================================== Grid : Message : 19.273590 s : ================================================================================== Grid : Message : 19.273820 s : Benchmark DWF on 8^4 local volume Grid : Message : 19.273960 s : * Nc : 3 Grid : Message : 19.274050 s : * Global volume : 8 8 8 48 Grid : Message : 19.274210 s : * Ls : 12 Grid : Message : 19.274310 s : * ranks : 6 Grid : Message : 19.274410 s : * nodes : 1 Grid : Message : 19.274500 s : * ranks/node : 6 Grid : Message : 19.274590 s : * ranks geom : 1 1 1 6 Grid : Message : 19.274710 s : * Using 4 threads Grid : Message : 19.274810 s : ================================================================================== Grid : Message : 19.112203 s : Initialised RNGs Grid : Message : 19.257664 s : ================================================================================== Grid : Message : 19.257832 s : * Using GENERIC Nc WilsonKernels Grid : Message : 19.257971 s : * Using sequential Comms/Compute Grid : Message : 19.258108 s : * SINGLE precision Grid : Message : 19.258242 s : ================================================================================== Grid : Message : 19.377095 s : Deo FlopsPerSite is 1200.0 Grid : Message : 19.377126 s : Deo mflop/s = 801369.5 (1007.6) 610162.8-838612.3 Grid : Message : 19.377144 s : Deo mflop/s per rank 133561.6 Grid : Message : 19.377155 s : Deo mflop/s per node 801369.5 Grid : Message : 19.377166 s : ================================================================================== Grid : Message : 19.377175 s : * Using GENERIC Nc WilsonKernels Grid : Message : 19.377184 s : * Using Overlapped Comms/Compute Grid : Message : 19.377193 s : * SINGLE precision Grid : Message : 19.377202 s : ================================================================================== Grid : Message : 19.497088 s : Deo FlopsPerSite is 1200.0 Grid : Message : 19.497108 s : Deo mflop/s = 752755.4 (6206.4) 403068.8-907421.5 Grid : Message : 19.497125 s : Deo mflop/s per rank 125459.2 Grid : Message : 19.497136 s : Deo mflop/s per node 752755.4 Grid : Message : 19.497147 s : ================================================================================== Grid : Message : 19.497156 s : * Using GENERIC Nc WilsonKernels Grid : Message : 19.497165 s : * Using sequential Comms/Compute Grid : Message : 19.497174 s : * SINGLE precision Grid : Message : 19.497183 s : ================================================================================== Grid : Message : 20.342979 s : Deo FlopsPerSite is 1200.0 Grid : Message : 20.343155 s : Deo mflop/s = 106559.3 (635.7) 78783.3-150082.4 Grid : Message : 20.343409 s : Deo mflop/s per rank 17759.9 Grid : Message : 20.343570 s : Deo mflop/s per node 106559.3 Grid : Message : 20.343732 s : ================================================================================== Grid : Message : 20.343869 s : * Using GENERIC Nc WilsonKernels Grid : Message : 20.344004 s : * Using Overlapped Comms/Compute Grid : Message : 20.344137 s : * SINGLE precision Grid : Message : 20.344272 s : ================================================================================== Grid : Message : 20.475505 s : Deo FlopsPerSite is 1200.0 Grid : Message : 20.475522 s : Deo mflop/s = 715528.0 (474.5) 675371.0-743475.6 Grid : Message : 20.475540 s : Deo mflop/s per rank 119254.7 Grid : Message : 20.475551 s : Deo mflop/s per node 715528.0 Grid : Message : 20.475562 s : ================================================================================== Grid : Message : 20.475571 s : 8^4 x 12 Deo Best mflop/s = 801369.5 ; 801369.5 per node Grid : Message : 20.475585 s : 8^4 x 12 Deo Worst mflop/s = 106559.3 ; 106559.3 per node Grid : Message : 20.475599 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 20.475608 s : 801369.5 ; 752755.4 ; 106559.3 ; 715528.0 ; Grid : Message : 20.475624 s : ================================================================================== Grid : Message : 20.496999 s : ================================================================================== Grid : Message : 20.497020 s : Benchmark DWF on 12^4 local volume Grid : Message : 20.497035 s : * Nc : 3 Grid : Message : 20.497045 s : * Global volume : 12 12 12 72 Grid : Message : 20.497061 s : * Ls : 12 Grid : Message : 20.497070 s : * ranks : 6 Grid : Message : 20.497080 s : * nodes : 1 Grid : Message : 20.497089 s : * ranks/node : 6 Grid : Message : 20.497098 s : * ranks geom : 1 1 1 6 Grid : Message : 20.497110 s : * Using 4 threads Grid : Message : 20.497119 s : ================================================================================== Grid : Message : 20.722698 s : Initialised RNGs Grid : Message : 20.946233 s : ================================================================================== Grid : Message : 20.946399 s : * Using GENERIC Nc WilsonKernels Grid : Message : 20.946539 s : * Using sequential Comms/Compute Grid : Message : 20.946676 s : * SINGLE precision Grid : Message : 20.946810 s : ================================================================================== Grid : Message : 21.181471 s : Deo FlopsPerSite is 1200.0 Grid : Message : 21.181506 s : Deo mflop/s = 2042350.2 (9594.6) 1331047.8-2421068.1 Grid : Message : 21.181524 s : Deo mflop/s per rank 340391.7 Grid : Message : 21.181534 s : Deo mflop/s per node 2042350.2 Grid : Message : 21.181545 s : ================================================================================== Grid : Message : 21.181554 s : * Using GENERIC Nc WilsonKernels Grid : Message : 21.181563 s : * Using Overlapped Comms/Compute Grid : Message : 21.181572 s : * SINGLE precision Grid : Message : 21.181581 s : ================================================================================== Grid : Message : 21.428874 s : Deo FlopsPerSite is 1200.0 Grid : Message : 21.428897 s : Deo mflop/s = 1839211.3 (8897.3) 1533895.9-2611647.8 Grid : Message : 21.428914 s : Deo mflop/s per rank 306535.2 Grid : Message : 21.428925 s : Deo mflop/s per node 1839211.3 Grid : Message : 21.428936 s : ================================================================================== Grid : Message : 21.428945 s : * Using GENERIC Nc WilsonKernels Grid : Message : 21.428954 s : * Using sequential Comms/Compute Grid : Message : 21.428963 s : * SINGLE precision Grid : Message : 21.428971 s : ================================================================================== Grid : Message : 22.240956 s : Deo FlopsPerSite is 1200.0 Grid : Message : 22.241135 s : Deo mflop/s = 562546.2 (7386.1) 102728.8-779630.3 Grid : Message : 22.241387 s : Deo mflop/s per rank 93757.7 Grid : Message : 22.241546 s : Deo mflop/s per node 562546.2 Grid : Message : 22.241706 s : ================================================================================== Grid : Message : 22.241839 s : * Using GENERIC Nc WilsonKernels Grid : Message : 22.241975 s : * Using Overlapped Comms/Compute Grid : Message : 22.242107 s : * SINGLE precision Grid : Message : 22.242241 s : ================================================================================== Grid : Message : 22.489291 s : Deo FlopsPerSite is 1200.0 Grid : Message : 22.489314 s : Deo mflop/s = 1882785.0 (1828.5) 1602495.9-2004016.1 Grid : Message : 22.489332 s : Deo mflop/s per rank 313797.5 Grid : Message : 22.489345 s : Deo mflop/s per node 1882785.0 Grid : Message : 22.489356 s : ================================================================================== Grid : Message : 22.489365 s : 12^4 x 12 Deo Best mflop/s = 2042350.2 ; 2042350.2 per node Grid : Message : 22.489380 s : 12^4 x 12 Deo Worst mflop/s = 562546.2 ; 562546.2 per node Grid : Message : 22.489394 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 22.489403 s : 2042350.2 ; 1839211.3 ; 562546.2 ; 1882785.0 ; Grid : Message : 22.489435 s : ================================================================================== Grid : Message : 22.542677 s : ================================================================================== Grid : Message : 22.542698 s : Benchmark DWF on 16^4 local volume Grid : Message : 22.542709 s : * Nc : 3 Grid : Message : 22.542718 s : * Global volume : 16 16 16 96 Grid : Message : 22.542735 s : * Ls : 12 Grid : Message : 22.542744 s : * ranks : 6 Grid : Message : 22.542754 s : * nodes : 1 Grid : Message : 22.542763 s : * ranks/node : 6 Grid : Message : 22.542772 s : * ranks geom : 1 1 1 6 Grid : Message : 22.542784 s : * Using 4 threads Grid : Message : 22.542794 s : ================================================================================== Grid : Message : 23.115580 s : Initialised RNGs Grid : Message : 23.649648 s : ================================================================================== Grid : Message : 23.649820 s : * Using GENERIC Nc WilsonKernels Grid : Message : 23.649958 s : * Using sequential Comms/Compute Grid : Message : 23.650094 s : * SINGLE precision Grid : Message : 23.650229 s : ================================================================================== Grid : Message : 24.862910 s : Deo FlopsPerSite is 1200.0 Grid : Message : 24.863270 s : Deo mflop/s = 3541228.1 (2807.5) 2936883.0-3836253.7 Grid : Message : 24.863460 s : Deo mflop/s per rank 590204.7 Grid : Message : 24.863570 s : Deo mflop/s per node 3541228.1 Grid : Message : 24.863680 s : ================================================================================== Grid : Message : 24.863770 s : * Using GENERIC Nc WilsonKernels Grid : Message : 24.863860 s : * Using Overlapped Comms/Compute Grid : Message : 24.863950 s : * SINGLE precision Grid : Message : 24.864030 s : ================================================================================== Grid : Message : 24.452866 s : Deo FlopsPerSite is 1200.0 Grid : Message : 24.452884 s : Deo mflop/s = 3940917.6 (2608.9) 3583740.8-4056096.3 Grid : Message : 24.452901 s : Deo mflop/s per rank 656819.6 Grid : Message : 24.452912 s : Deo mflop/s per node 3940917.6 Grid : Message : 24.452923 s : ================================================================================== Grid : Message : 24.452932 s : * Using GENERIC Nc WilsonKernels Grid : Message : 24.452941 s : * Using sequential Comms/Compute Grid : Message : 24.452950 s : * SINGLE precision Grid : Message : 24.452959 s : ================================================================================== Grid : Message : 25.403461 s : Deo FlopsPerSite is 1200.0 Grid : Message : 25.403631 s : Deo mflop/s = 1519709.6 (4512.6) 1405039.8-1990967.1 Grid : Message : 25.403882 s : Deo mflop/s per rank 253284.9 Grid : Message : 25.404039 s : Deo mflop/s per node 1519709.6 Grid : Message : 25.404202 s : ================================================================================== Grid : Message : 25.404337 s : * Using GENERIC Nc WilsonKernels Grid : Message : 25.404470 s : * Using Overlapped Comms/Compute Grid : Message : 25.404601 s : * SINGLE precision Grid : Message : 25.404735 s : ================================================================================== Grid : Message : 25.851192 s : Deo FlopsPerSite is 1200.0 Grid : Message : 25.851209 s : Deo mflop/s = 3252578.8 (1718.1) 3064020.8-3370422.9 Grid : Message : 25.851226 s : Deo mflop/s per rank 542096.5 Grid : Message : 25.851237 s : Deo mflop/s per node 3252578.8 Grid : Message : 25.851248 s : ================================================================================== Grid : Message : 25.851257 s : 16^4 x 12 Deo Best mflop/s = 3940917.6 ; 3940917.6 per node Grid : Message : 25.851271 s : 16^4 x 12 Deo Worst mflop/s = 1519709.6 ; 1519709.6 per node Grid : Message : 25.851285 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 25.851294 s : 3541228.1 ; 3940917.6 ; 1519709.6 ; 3252578.8 ; Grid : Message : 25.851310 s : ================================================================================== Grid : Message : 25.992527 s : ================================================================================== Grid : Message : 25.992548 s : Benchmark DWF on 24^4 local volume Grid : Message : 25.992559 s : * Nc : 3 Grid : Message : 25.992568 s : * Global volume : 24 24 24 144 Grid : Message : 25.992585 s : * Ls : 12 Grid : Message : 25.992594 s : * ranks : 6 Grid : Message : 25.992604 s : * nodes : 1 Grid : Message : 25.992613 s : * ranks/node : 6 Grid : Message : 25.992622 s : * ranks geom : 1 1 1 6 Grid : Message : 25.992635 s : * Using 4 threads Grid : Message : 25.992645 s : ================================================================================== Grid : Message : 28.580279 s : Initialised RNGs Grid : Message : 30.993805 s : ================================================================================== Grid : Message : 30.993975 s : * Using GENERIC Nc WilsonKernels Grid : Message : 30.994118 s : * Using sequential Comms/Compute Grid : Message : 30.994255 s : * SINGLE precision Grid : Message : 30.994388 s : ================================================================================== Grid : Message : 32.636854 s : Deo FlopsPerSite is 1200.0 Grid : Message : 32.636890 s : Deo mflop/s = 4861140.6 (3594.5) 4458078.8-5089745.5 Grid : Message : 32.636908 s : Deo mflop/s per rank 810190.1 Grid : Message : 32.636919 s : Deo mflop/s per node 4861140.6 Grid : Message : 32.636930 s : ================================================================================== Grid : Message : 32.636939 s : * Using GENERIC Nc WilsonKernels Grid : Message : 32.636948 s : * Using Overlapped Comms/Compute Grid : Message : 32.636957 s : * SINGLE precision Grid : Message : 32.636965 s : ================================================================================== Grid : Message : 34.242230 s : Deo FlopsPerSite is 1200.0 Grid : Message : 34.242257 s : Deo mflop/s = 4554692.1 (1528.9) 4311890.3-4670160.7 Grid : Message : 34.242274 s : Deo mflop/s per rank 759115.3 Grid : Message : 34.242285 s : Deo mflop/s per node 4554692.1 Grid : Message : 34.242296 s : ================================================================================== Grid : Message : 34.242305 s : * Using GENERIC Nc WilsonKernels Grid : Message : 34.242314 s : * Using sequential Comms/Compute Grid : Message : 34.242323 s : * SINGLE precision Grid : Message : 34.242332 s : ================================================================================== Grid : Message : 36.277116 s : Deo FlopsPerSite is 1200.0 Grid : Message : 36.277301 s : Deo mflop/s = 3592080.2 (4358.5) 3387549.8-4174984.9 Grid : Message : 36.277554 s : Deo mflop/s per rank 598680.0 Grid : Message : 36.277715 s : Deo mflop/s per node 3592080.2 Grid : Message : 36.277878 s : ================================================================================== Grid : Message : 36.278010 s : * Using GENERIC Nc WilsonKernels Grid : Message : 36.278147 s : * Using Overlapped Comms/Compute Grid : Message : 36.278280 s : * SINGLE precision Grid : Message : 36.278415 s : ================================================================================== Grid : Message : 37.862638 s : Deo FlopsPerSite is 1200.0 Grid : Message : 37.862666 s : Deo mflop/s = 4615208.3 (1652.5) 4222959.1-4750654.0 Grid : Message : 37.862684 s : Deo mflop/s per rank 769201.4 Grid : Message : 37.862695 s : Deo mflop/s per node 4615208.3 Grid : Message : 37.862706 s : ================================================================================== Grid : Message : 37.862715 s : 24^4 x 12 Deo Best mflop/s = 4861140.6 ; 4861140.6 per node Grid : Message : 37.862730 s : 24^4 x 12 Deo Worst mflop/s = 3592080.2 ; 3592080.2 per node Grid : Message : 37.862746 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 37.862758 s : 4861140.6 ; 4554692.1 ; 3592080.2 ; 4615208.3 ; Grid : Message : 37.862779 s : ================================================================================== Grid : Message : 38.547413 s : ================================================================================== Grid : Message : 38.547434 s : Benchmark DWF on 32^4 local volume Grid : Message : 38.547445 s : * Nc : 3 Grid : Message : 38.547454 s : * Global volume : 32 32 32 192 Grid : Message : 38.547470 s : * Ls : 12 Grid : Message : 38.547479 s : * ranks : 6 Grid : Message : 38.547489 s : * nodes : 1 Grid : Message : 38.547498 s : * ranks/node : 6 Grid : Message : 38.547507 s : * ranks geom : 1 1 1 6 Grid : Message : 38.547519 s : * Using 4 threads Grid : Message : 38.547529 s : ================================================================================== Grid : Message : 46.748554 s : Initialised RNGs Grid : Message : 53.912589 s : ================================================================================== Grid : Message : 53.912765 s : * Using GENERIC Nc WilsonKernels Grid : Message : 53.912912 s : * Using sequential Comms/Compute Grid : Message : 53.913059 s : * SINGLE precision Grid : Message : 53.913207 s : ================================================================================== Grid : Message : 58.503804 s : Deo FlopsPerSite is 1200.0 Grid : Message : 58.503838 s : Deo mflop/s = 5554960.8 (722.1) 5507414.4-5738343.5 Grid : Message : 58.503856 s : Deo mflop/s per rank 925826.8 Grid : Message : 58.503867 s : Deo mflop/s per node 5554960.8 Grid : Message : 58.503878 s : ================================================================================== Grid : Message : 58.503887 s : * Using GENERIC Nc WilsonKernels Grid : Message : 58.503896 s : * Using Overlapped Comms/Compute Grid : Message : 58.503905 s : * SINGLE precision Grid : Message : 58.503914 s : ================================================================================== Grid : Message : 62.503058 s : Deo FlopsPerSite is 1200.0 Grid : Message : 62.503091 s : Deo mflop/s = 5776951.1 (1228.4) 5688620.3-5829170.4 Grid : Message : 62.503109 s : Deo mflop/s per rank 962825.2 Grid : Message : 62.503122 s : Deo mflop/s per node 5776951.1 Grid : Message : 62.503133 s : ================================================================================== Grid : Message : 62.503142 s : * Using GENERIC Nc WilsonKernels Grid : Message : 62.503151 s : * Using sequential Comms/Compute Grid : Message : 62.503160 s : * SINGLE precision Grid : Message : 62.503169 s : ================================================================================== Grid : Message : 67.412819 s : Deo FlopsPerSite is 1200.0 Grid : Message : 67.412850 s : Deo mflop/s = 4706324.2 (5755.1) 4568682.1-5349372.1 Grid : Message : 67.412868 s : Deo mflop/s per rank 784387.4 Grid : Message : 67.412878 s : Deo mflop/s per node 4706324.2 Grid : Message : 67.412891 s : ================================================================================== Grid : Message : 67.412900 s : * Using GENERIC Nc WilsonKernels Grid : Message : 67.412909 s : * Using Overlapped Comms/Compute Grid : Message : 67.412917 s : * SINGLE precision Grid : Message : 67.412926 s : ================================================================================== Grid : Message : 71.808353 s : Deo FlopsPerSite is 1200.0 Grid : Message : 71.808376 s : Deo mflop/s = 5256220.1 (349.2) 5234398.3-5369663.7 Grid : Message : 71.808393 s : Deo mflop/s per rank 876036.7 Grid : Message : 71.808404 s : Deo mflop/s per node 5256220.1 Grid : Message : 71.808415 s : ================================================================================== Grid : Message : 71.808424 s : 32^4 x 12 Deo Best mflop/s = 5776951.1 ; 5776951.1 per node Grid : Message : 71.808441 s : 32^4 x 12 Deo Worst mflop/s = 4706324.2 ; 4706324.2 per node Grid : Message : 71.808460 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 71.808472 s : 5554960.8 ; 5776951.1 ; 4706324.2 ; 5256220.1 ; Grid : Message : 71.808493 s : ================================================================================== Grid : Message : 73.853683 s : ================================================================================== Grid : Message : 73.853714 s : Improved Staggered dslash 4D vectorised Grid : Message : 73.853724 s : ================================================================================== Grid : Message : 73.957909 s : ================================================================================== Grid : Message : 73.957932 s : Benchmark ImprovedStaggered on 8^4 local volume Grid : Message : 73.957945 s : * Global volume : 8 8 8 48 Grid : Message : 73.957962 s : * ranks : 6 Grid : Message : 73.957974 s : * nodes : 1 Grid : Message : 73.957984 s : * ranks/node : 6 Grid : Message : 73.957993 s : * ranks geom : 1 1 1 6 Grid : Message : 73.958005 s : * Using 4 threads Grid : Message : 73.958015 s : ================================================================================== Grid : Message : 73.978544 s : Initialised RNGs Grid : Message : 74.477106 s : ================================================================================== Grid : Message : 74.477264 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 74.477406 s : * Using sequential Comms/Compute Grid : Message : 74.477541 s : * SINGLE precision Grid : Message : 74.477673 s : ================================================================================== Grid : Message : 74.942003 s : Deo mflop/s = 15600.5 (81.4) 11628.4-21336.4 Grid : Message : 74.942044 s : Deo mflop/s per rank 2600.1 Grid : Message : 74.942056 s : Deo mflop/s per node 15600.5 Grid : Message : 74.942067 s : ================================================================================== Grid : Message : 74.942076 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 74.942085 s : * Using Overlapped Comms/Compute Grid : Message : 74.942094 s : * SINGLE precision Grid : Message : 74.942103 s : ================================================================================== Grid : Message : 75.407192 s : Deo mflop/s = 15432.7 (38.1) 11893.6-16684.9 Grid : Message : 75.407224 s : Deo mflop/s per rank 2572.1 Grid : Message : 75.407235 s : Deo mflop/s per node 15432.7 Grid : Message : 75.407246 s : ================================================================================== Grid : Message : 75.407255 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 75.407264 s : * Using sequential Comms/Compute Grid : Message : 75.407273 s : * SINGLE precision Grid : Message : 75.407282 s : ================================================================================== Grid : Message : 77.550985 s : Deo mflop/s = 3351.4 (39.4) 2548.8-5535.4 Grid : Message : 77.551256 s : Deo mflop/s per rank 558.6 Grid : Message : 77.551417 s : Deo mflop/s per node 3351.4 Grid : Message : 77.551578 s : ================================================================================== Grid : Message : 77.551712 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 77.551846 s : * Using Overlapped Comms/Compute Grid : Message : 77.551979 s : * SINGLE precision Grid : Message : 77.552113 s : ================================================================================== Grid : Message : 78.109908 s : Deo mflop/s = 12983.9 (29.7) 9032.7-14933.2 Grid : Message : 78.109940 s : Deo mflop/s per rank 2164.0 Grid : Message : 78.109952 s : Deo mflop/s per node 12983.9 Grid : Message : 78.109963 s : ================================================================================== Grid : Message : 78.109972 s : 8^4 Deo Best mflop/s = 15600.5 ; 15600.5 per node Grid : Message : 78.109986 s : 8^4 Deo Worst mflop/s = 3351.4 ; 3351.4 per node Grid : Message : 78.109999 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 78.110008 s : 15600.5 ; 15432.7 ; 3351.4 ; 12983.9 ; Grid : Message : 78.110023 s : ================================================================================== Grid : Message : 78.119090 s : ================================================================================== Grid : Message : 78.119106 s : Benchmark ImprovedStaggered on 12^4 local volume Grid : Message : 78.119117 s : * Global volume : 12 12 12 72 Grid : Message : 78.119133 s : * ranks : 6 Grid : Message : 78.119143 s : * nodes : 1 Grid : Message : 78.119152 s : * ranks/node : 6 Grid : Message : 78.119161 s : * ranks geom : 1 1 1 6 Grid : Message : 78.119173 s : * Using 4 threads Grid : Message : 78.119183 s : ================================================================================== Grid : Message : 78.150165 s : Initialised RNGs Grid : Message : 78.327518 s : ================================================================================== Grid : Message : 78.327676 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 78.327814 s : * Using sequential Comms/Compute Grid : Message : 78.327951 s : * SINGLE precision Grid : Message : 78.328085 s : ================================================================================== Grid : Message : 78.622022 s : Deo mflop/s = 125976.5 (212.5) 81755.0-133753.0 Grid : Message : 78.622064 s : Deo mflop/s per rank 20996.1 Grid : Message : 78.622076 s : Deo mflop/s per node 125976.5 Grid : Message : 78.622087 s : ================================================================================== Grid : Message : 78.622096 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 78.622105 s : * Using Overlapped Comms/Compute Grid : Message : 78.622114 s : * SINGLE precision Grid : Message : 78.622123 s : ================================================================================== Grid : Message : 78.928857 s : Deo mflop/s = 118627.1 (231.9) 94675.1-127760.5 Grid : Message : 78.928897 s : Deo mflop/s per rank 19771.2 Grid : Message : 78.928908 s : Deo mflop/s per node 118627.1 Grid : Message : 78.928919 s : ================================================================================== Grid : Message : 78.928928 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 78.928937 s : * Using sequential Comms/Compute Grid : Message : 78.928946 s : * SINGLE precision Grid : Message : 78.928955 s : ================================================================================== Grid : Message : 80.967276 s : Deo mflop/s = 17825.4 (99.1) 16125.4-23373.9 Grid : Message : 80.967560 s : Deo mflop/s per rank 2970.9 Grid : Message : 80.967720 s : Deo mflop/s per node 17825.4 Grid : Message : 80.967882 s : ================================================================================== Grid : Message : 80.968018 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 80.968149 s : * Using Overlapped Comms/Compute Grid : Message : 80.968283 s : * SINGLE precision Grid : Message : 80.968417 s : ================================================================================== Grid : Message : 81.373472 s : Deo mflop/s = 90036.5 (117.1) 69348.6-93190.0 Grid : Message : 81.373512 s : Deo mflop/s per rank 15006.1 Grid : Message : 81.373524 s : Deo mflop/s per node 90036.5 Grid : Message : 81.373535 s : ================================================================================== Grid : Message : 81.373544 s : 12^4 Deo Best mflop/s = 125976.5 ; 125976.5 per node Grid : Message : 81.373558 s : 12^4 Deo Worst mflop/s = 17825.4 ; 17825.4 per node Grid : Message : 81.373572 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 81.373581 s : 125976.5 ; 118627.1 ; 17825.4 ; 90036.5 ; Grid : Message : 81.373598 s : ================================================================================== Grid : Message : 81.426833 s : ================================================================================== Grid : Message : 81.426857 s : Benchmark ImprovedStaggered on 16^4 local volume Grid : Message : 81.426870 s : * Global volume : 16 16 16 96 Grid : Message : 81.426887 s : * ranks : 6 Grid : Message : 81.426897 s : * nodes : 1 Grid : Message : 81.426906 s : * ranks/node : 6 Grid : Message : 81.426916 s : * ranks geom : 1 1 1 6 Grid : Message : 81.426928 s : * Using 4 threads Grid : Message : 81.426938 s : ================================================================================== Grid : Message : 81.482194 s : Initialised RNGs Grid : Message : 81.836917 s : ================================================================================== Grid : Message : 81.837078 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 81.837218 s : * Using sequential Comms/Compute Grid : Message : 81.837351 s : * SINGLE precision Grid : Message : 81.837482 s : ================================================================================== Grid : Message : 82.701352 s : Deo mflop/s = 136214.2 (469.6) 119465.9-167768.3 Grid : Message : 82.701411 s : Deo mflop/s per rank 22702.4 Grid : Message : 82.701423 s : Deo mflop/s per node 136214.2 Grid : Message : 82.701434 s : ================================================================================== Grid : Message : 82.701443 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 82.701452 s : * Using Overlapped Comms/Compute Grid : Message : 82.701461 s : * SINGLE precision Grid : Message : 82.701470 s : ================================================================================== Grid : Message : 83.486302 s : Deo mflop/s = 146384.2 (373.9) 125313.0-163151.9 Grid : Message : 83.486355 s : Deo mflop/s per rank 24397.4 Grid : Message : 83.486367 s : Deo mflop/s per node 146384.2 Grid : Message : 83.486378 s : ================================================================================== Grid : Message : 83.486387 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 83.486396 s : * Using sequential Comms/Compute Grid : Message : 83.486405 s : * SINGLE precision Grid : Message : 83.486414 s : ================================================================================== Grid : Message : 86.364310 s : Deo mflop/s = 45075.7 (64.6) 39424.8-51523.6 Grid : Message : 86.367030 s : Deo mflop/s per rank 7512.6 Grid : Message : 86.368660 s : Deo mflop/s per node 45075.7 Grid : Message : 86.370260 s : ================================================================================== Grid : Message : 86.371610 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 86.372950 s : * Using Overlapped Comms/Compute Grid : Message : 86.374290 s : * SINGLE precision Grid : Message : 86.375630 s : ================================================================================== Grid : Message : 86.986604 s : Deo mflop/s = 121276.0 (177.4) 101767.3-140032.8 Grid : Message : 86.986637 s : Deo mflop/s per rank 20212.7 Grid : Message : 86.986648 s : Deo mflop/s per node 121276.0 Grid : Message : 86.986659 s : ================================================================================== Grid : Message : 86.986668 s : 16^4 Deo Best mflop/s = 146384.2 ; 146384.2 per node Grid : Message : 86.986682 s : 16^4 Deo Worst mflop/s = 45075.7 ; 45075.7 per node Grid : Message : 86.986696 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 86.986705 s : 136214.2 ; 146384.2 ; 45075.7 ; 121276.0 ; Grid : Message : 86.986721 s : ================================================================================== Grid : Message : 87.283490 s : ================================================================================== Grid : Message : 87.283700 s : Benchmark ImprovedStaggered on 24^4 local volume Grid : Message : 87.283810 s : * Global volume : 24 24 24 144 Grid : Message : 87.284000 s : * ranks : 6 Grid : Message : 87.284110 s : * nodes : 1 Grid : Message : 87.284200 s : * ranks/node : 6 Grid : Message : 87.284300 s : * ranks geom : 1 1 1 6 Grid : Message : 87.284420 s : * Using 4 threads Grid : Message : 87.284520 s : ================================================================================== Grid : Message : 87.234726 s : Initialised RNGs Grid : Message : 88.588966 s : ================================================================================== Grid : Message : 88.589131 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 88.589246 s : * Using sequential Comms/Compute Grid : Message : 88.589270 s : * SINGLE precision Grid : Message : 88.589294 s : ================================================================================== Grid : Message : 90.842087 s : Deo mflop/s = 265750.4 (152.0) 250636.3-277935.2 Grid : Message : 90.842129 s : Deo mflop/s per rank 44291.7 Grid : Message : 90.842141 s : Deo mflop/s per node 265750.4 Grid : Message : 90.842152 s : ================================================================================== Grid : Message : 90.842161 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 90.842170 s : * Using Overlapped Comms/Compute Grid : Message : 90.842179 s : * SINGLE precision Grid : Message : 90.842187 s : ================================================================================== Grid : Message : 93.196045 s : Deo mflop/s = 247192.8 (491.0) 221269.8-265760.9 Grid : Message : 93.196076 s : Deo mflop/s per rank 41198.8 Grid : Message : 93.196088 s : Deo mflop/s per node 247192.8 Grid : Message : 93.196099 s : ================================================================================== Grid : Message : 93.196108 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 93.196117 s : * Using sequential Comms/Compute Grid : Message : 93.196126 s : * SINGLE precision Grid : Message : 93.196135 s : ================================================================================== Grid : Message : 97.192330 s : Deo mflop/s = 152105.0 (234.8) 139205.0-161679.1 Grid : Message : 97.192960 s : Deo mflop/s per rank 25350.8 Grid : Message : 97.193210 s : Deo mflop/s per node 152105.0 Grid : Message : 97.193460 s : ================================================================================== Grid : Message : 97.193670 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 97.193880 s : * Using Overlapped Comms/Compute Grid : Message : 97.194090 s : * SINGLE precision Grid : Message : 97.194300 s : ================================================================================== Grid : Message : 99.486215 s : Deo mflop/s = 235855.1 (130.4) 225023.8-249485.1 Grid : Message : 99.486249 s : Deo mflop/s per rank 39309.2 Grid : Message : 99.486260 s : Deo mflop/s per node 235855.1 Grid : Message : 99.486271 s : ================================================================================== Grid : Message : 99.486280 s : 24^4 Deo Best mflop/s = 265750.4 ; 265750.4 per node Grid : Message : 99.486294 s : 24^4 Deo Worst mflop/s = 152105.0 ; 152105.0 per node Grid : Message : 99.486312 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 99.486325 s : 265750.4 ; 247192.8 ; 152105.0 ; 235855.1 ; Grid : Message : 99.486347 s : ================================================================================== Grid : Message : 99.549914 s : ================================================================================== Grid : Message : 99.549935 s : Benchmark ImprovedStaggered on 32^4 local volume Grid : Message : 99.549946 s : * Global volume : 32 32 32 192 Grid : Message : 99.549963 s : * ranks : 6 Grid : Message : 99.549973 s : * nodes : 1 Grid : Message : 99.549983 s : * ranks/node : 6 Grid : Message : 99.549992 s : * ranks geom : 1 1 1 6 Grid : Message : 99.550004 s : * Using 4 threads Grid : Message : 99.550014 s : ================================================================================== Grid : Message : 100.163482 s : Initialised RNGs Grid : Message : 104.153305 s : ================================================================================== Grid : Message : 104.153480 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 104.153622 s : * Using sequential Comms/Compute Grid : Message : 104.153764 s : * SINGLE precision Grid : Message : 104.153909 s : ================================================================================== Grid : Message : 110.772268 s : Deo mflop/s = 285434.3 (105.4) 278464.7-300968.8 Grid : Message : 110.772311 s : Deo mflop/s per rank 47572.4 Grid : Message : 110.772323 s : Deo mflop/s per node 285434.3 Grid : Message : 110.772334 s : ================================================================================== Grid : Message : 110.772343 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 110.772352 s : * Using Overlapped Comms/Compute Grid : Message : 110.772361 s : * SINGLE precision Grid : Message : 110.772369 s : ================================================================================== Grid : Message : 117.760067 s : Deo mflop/s = 263137.8 (441.4) 243384.0-284059.9 Grid : Message : 117.760103 s : Deo mflop/s per rank 43856.3 Grid : Message : 117.760115 s : Deo mflop/s per node 263137.8 Grid : Message : 117.760126 s : ================================================================================== Grid : Message : 117.760135 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 117.760144 s : * Using sequential Comms/Compute Grid : Message : 117.760153 s : * SINGLE precision Grid : Message : 117.760162 s : ================================================================================== Grid : Message : 125.411756 s : Deo mflop/s = 240358.6 (491.2) 226146.7-255746.6 Grid : Message : 125.411794 s : Deo mflop/s per rank 40059.8 Grid : Message : 125.411806 s : Deo mflop/s per node 240358.6 Grid : Message : 125.411817 s : ================================================================================== Grid : Message : 125.411826 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 125.411835 s : * Using Overlapped Comms/Compute Grid : Message : 125.411844 s : * SINGLE precision Grid : Message : 125.411852 s : ================================================================================== Grid : Message : 132.524256 s : Deo mflop/s = 258525.0 (85.5) 251974.9-271502.1 Grid : Message : 132.524292 s : Deo mflop/s per rank 43087.5 Grid : Message : 132.524304 s : Deo mflop/s per node 258525.0 Grid : Message : 132.524315 s : ================================================================================== Grid : Message : 132.524324 s : 32^4 Deo Best mflop/s = 285434.3 ; 285434.3 per node Grid : Message : 132.524339 s : 32^4 Deo Worst mflop/s = 240358.6 ; 240358.6 per node Grid : Message : 132.524359 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 132.524372 s : 285434.3 ; 263137.8 ; 240358.6 ; 258525.0 ; Grid : Message : 132.524393 s : ================================================================================== Grid : Message : 132.690043 s : ================================================================================== Grid : Message : 132.690070 s : Summary table Ls=12 Grid : Message : 132.690081 s : ================================================================================== Grid : Message : 132.690090 s : L Wilson DWF4 Staggered Grid : Message : 132.690099 s : 8 78414.0 801369.5 15600.5 Grid : Message : 132.690129 s : 12 365420.7 2042350.2 125976.5 Grid : Message : 132.690143 s : 16 936905.2 3940917.6 146384.2 Grid : Message : 132.690157 s : 24 2456508.2 4861140.6 265750.4 Grid : Message : 132.690171 s : 32 2257740.0 5776951.1 285434.3 Grid : Message : 132.690185 s : ================================================================================== Grid : Message : 132.690194 s : ================================================================================== Grid : Message : 132.690203 s : Memory benchmark Grid : Message : 132.690211 s : ================================================================================== Grid : Message : 132.690220 s : ================================================================================== Grid : Message : 132.690229 s : = Benchmarking a*x + y bandwidth Grid : Message : 132.690238 s : ================================================================================== Grid : Message : 132.690246 s : L bytes GB/s Gflop/s seconds GB/s / node Grid : Message : 132.690258 s : ---------------------------------------------------------- Grid : Message : 140.872803 s : 8 4718592.000 147.838 12.320 8.171 147.838 Grid : Message : 141.697523 s : 16 75497472.000 1586.681 132.223 0.761 1586.681 Grid : Message : 142.136617 s : 24 382205952.000 3365.511 280.459 0.359 3365.511 Grid : Message : 142.517138 s : 32 1207959552.000 3689.451 307.454 0.327 3689.451 Grid : Message : 142.521681 s : ================================================================================== Grid : Message : 142.521694 s : Memory benchmark Grid : Message : 142.521704 s : ================================================================================== Grid : Message : 142.521713 s : ================================================================================== Grid : Message : 142.521722 s : = Benchmarking z = y*x SU(4) bandwidth Grid : Message : 142.521731 s : ================================================================================== Grid : Message : 142.521740 s : L bytes GB/s Gflop/s seconds GB/s / node Grid : Message : 142.521752 s : ---------------------------------------------------------- Grid : Message : 150.853910 s : 8 9437184.000 290.247 362.809 8.324 290.247 Grid : Message : 151.895024 s : 16 150994944.000 2358.720 2948.400 1.024 2358.720 Grid : Message : 152.563706 s : 24 764411904.000 3824.353 4780.441 0.632 3824.353 Grid : Message : 153.289898 s : 32 2415919104.000 3797.624 4747.030 0.636 3797.624 Grid : Message : 153.294206 s : ================================================================================== Grid : Message : 153.294221 s : Per Node Summary table Ls=12 Grid : Message : 153.294235 s : ================================================================================== Grid : Message : 153.294247 s : L Wilson DWF4 Staggered Grid : Message : 153.294258 s : 8 78414.022 801369.528 15600.473 Grid : Message : 153.294278 s : 12 365420.689 2042350.152 125976.526 Grid : Message : 153.294297 s : 16 936905.225 3940917.595 146384.177 Grid : Message : 153.294316 s : 24 2456508.219 4861140.649 265750.399 Grid : Message : 153.294335 s : 32 2257740.031 5776951.106 285434.293 Grid : Message : 153.294354 s : ================================================================================== Grid : Message : 153.294366 s : ================================================================================== Grid : Message : 153.294378 s : Comparison point result: 5319045.877 Mflop/s per node Grid : Message : 153.294393 s : Comparison point is 0.5*(5776951.106+4861140.649) Grid : Message : 153.294410 s : ==================================================================================