SharedMemoryMpi: World communicator of size 2 SharedMemoryMpi: Node communicator of size 2 SharedMemoryMpi: SharedMemoryAllocate 1073741824 SHMOPEN implementation __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ __|_ | | | | | | | | | | | | _|__ __|_ _|__ __|_ GGGG RRRR III DDDD _|__ __|_ G R R I D D _|__ __|_ G R R I D D _|__ __|_ G GG RRRR I D D _|__ __|_ G G R R I D D _|__ __|_ GGGG R R III DDDD _|__ __|_ _|__ __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ | | | | | | | | | | | | | | Copyright (C) 2015 Peter Boyle, Azusa Yamaguchi, Guido Cossu, Antonin Portelli and other authors This program is free software; you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation; either version 2 of the License, or (at your option) any later version. This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details. Current Grid git commit hash=3362f8dfa0b9e1122a5923d9d13becdab534e54a: (HEAD, origin/develop, origin/HEAD, develop) clean Grid : Message : ================================================ Grid : Message : MPI is initialised and logging filters activated Grid : Message : ================================================ Grid : Message : Requested 1073741824 byte stencil comms buffers Grid : Message : MemoryManager::Init() setting up Grid : Message : MemoryManager::Init() cache pool for recent allocations: SMALL 32 LARGE 8 Grid : Message : MemoryManager::Init() Unified memory space Grid : Message : 0.859348 s : ================================================================================== Grid : Message : 0.859375 s : = Grid is setup to use 24 threads Grid : Message : 0.859385 s : ================================================================================== Grid : Message : 0.859393 s : Grid Default Decomposition patterns Grid : Message : 0.859400 s : OpenMP threads : 24 Grid : Message : 0.859411 s : MPI tasks : 2 1 1 1 Grid : Message : 0.859430 s : vReal : 256bits ; 1 1 2 2 Grid : Message : 0.859442 s : vRealF : 256bits ; 1 2 2 2 Grid : Message : 0.859454 s : vRealD : 256bits ; 1 1 2 2 Grid : Message : 0.859466 s : vComplex : 256bits ; 1 1 1 2 Grid : Message : 0.859477 s : vComplexF : 256bits ; 1 1 2 2 Grid : Message : 0.859489 s : vComplexD : 256bits ; 1 1 1 2 Grid : Message : 0.859501 s : ================================================================================== Grid : Message : 0.859509 s : ================================================================================== Grid : Message : 0.859517 s : Wilson dslash 4D vectorised Grid : Message : 0.859525 s : ================================================================================== Grid : Message : 0.859907 s : ================================================================================== Grid : Message : 0.859916 s : Benchmark DWF on 8^4 local volume Grid : Message : 0.859925 s : * Nc : 3 Grid : Message : 0.859934 s : * Global volume : 16 8 8 8 Grid : Message : 0.859945 s : * Ls : 1 Grid : Message : 0.859955 s : * ranks : 2 Grid : Message : 0.859963 s : * nodes : 1 Grid : Message : 0.859972 s : * ranks/node : 2 Grid : Message : 0.859980 s : * ranks geom : 2 1 1 1 Grid : Message : 0.859990 s : * Using 24 threads Grid : Message : 0.859999 s : ================================================================================== Grid : Message : 0.871663 s : Initialised RNGs Grid : Message : 0.908949 s : ================================================================================== Grid : Message : 0.909096 s : * Using GENERIC Nc WilsonKernels Grid : Message : 0.909223 s : * Using sequential Comms/Compute Grid : Message : 0.909355 s : * SINGLE precision Grid : Message : 0.909485 s : ================================================================================== Grid : Message : 0.943441 s : Deo FlopsPerSite is 1200 Grid : Message : 0.943640 s : Deo mflop/s = 83145.0 (9517.2) 5669.2-182044.4 Grid : Message : 0.943894 s : Deo mflop/s per rank 41572.5 Grid : Message : 0.944079 s : Deo mflop/s per node 83145.0 Grid : Message : 0.944225 s : ================================================================================== Grid : Message : 0.944357 s : * Using GENERIC Nc WilsonKernels Grid : Message : 0.944490 s : * Using Overlapped Comms/Compute Grid : Message : 0.944622 s : * SINGLE precision Grid : Message : 0.944753 s : ================================================================================== Grid : Message : 0.960235 s : Deo FlopsPerSite is 1200.0 Grid : Message : 0.960403 s : Deo mflop/s = 166583.1 (592.5) 102400.0-175542.9 Grid : Message : 0.960654 s : Deo mflop/s per rank 83291.5 Grid : Message : 0.960821 s : Deo mflop/s per node 166583.1 Grid : Message : 0.960981 s : ================================================================================== Grid : Message : 0.961123 s : * Using GENERIC Nc WilsonKernels Grid : Message : 0.961254 s : * Using sequential Comms/Compute Grid : Message : 0.961386 s : * SINGLE precision Grid : Message : 0.961517 s : ================================================================================== Grid : Message : 0.977485 s : Deo FlopsPerSite is 1200.0 Grid : Message : 0.977650 s : Deo mflop/s = 160031.3 (539.9) 111709.1-169489.7 Grid : Message : 0.977900 s : Deo mflop/s per rank 80015.6 Grid : Message : 0.978073 s : Deo mflop/s per node 160031.3 Grid : Message : 0.978243 s : ================================================================================== Grid : Message : 0.978374 s : * Using GENERIC Nc WilsonKernels Grid : Message : 0.978504 s : * Using Overlapped Comms/Compute Grid : Message : 0.978634 s : * SINGLE precision Grid : Message : 0.978765 s : ================================================================================== Grid : Message : 0.993971 s : Deo FlopsPerSite is 1200.0 Grid : Message : 0.994147 s : Deo mflop/s = 167422.8 (581.7) 98304.0-175542.9 Grid : Message : 0.994400 s : Deo mflop/s per rank 83711.4 Grid : Message : 0.994565 s : Deo mflop/s per node 167422.8 Grid : Message : 0.994727 s : ================================================================================== Grid : Message : 0.994859 s : 8^4 x 1 Deo Best mflop/s = 167422.8 ; 167422.8 per node Grid : Message : 0.995090 s : 8^4 x 1 Deo Worst mflop/s = 83145.0 ; 83145.0 per node Grid : Message : 0.995309 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 0.995441 s : 83145.0 ; 166583.1 ; 160031.3 ; 167422.8 ; Grid : Message : 0.995662 s : ================================================================================== Grid : Message : 0.998495 s : ================================================================================== Grid : Message : 0.998631 s : Benchmark DWF on 12^4 local volume Grid : Message : 0.998790 s : * Nc : 3 Grid : Message : 0.998934 s : * Global volume : 24 12 12 12 Grid : Message : 0.999091 s : * Ls : 1 Grid : Message : 0.999235 s : * ranks : 2 Grid : Message : 0.999379 s : * nodes : 1 Grid : Message : 0.999524 s : * ranks/node : 2 Grid : Message : 0.999668 s : * ranks geom : 2 1 1 1 Grid : Message : 0.999813 s : * Using 24 threads Grid : Message : 0.999968 s : ================================================================================== Grid : Message : 1.129550 s : Initialised RNGs Grid : Message : 1.481170 s : ================================================================================== Grid : Message : 1.482760 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.484200 s : * Using sequential Comms/Compute Grid : Message : 1.485580 s : * SINGLE precision Grid : Message : 1.486840 s : ================================================================================== Grid : Message : 1.977570 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.979490 s : Deo mflop/s = 268265.1 (776.6) 134503.8-279586.5 Grid : Message : 1.982200 s : Deo mflop/s per rank 134132.6 Grid : Message : 1.984030 s : Deo mflop/s per node 268265.1 Grid : Message : 1.985590 s : ================================================================================== Grid : Message : 1.987000 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.988420 s : * Using Overlapped Comms/Compute Grid : Message : 1.989830 s : * SINGLE precision Grid : Message : 1.991300 s : ================================================================================== Grid : Message : 1.142879 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.143057 s : Deo mflop/s = 291741.3 (589.2) 234747.2-303453.7 Grid : Message : 1.143308 s : Deo mflop/s per rank 145870.7 Grid : Message : 1.143472 s : Deo mflop/s per node 291741.3 Grid : Message : 1.143629 s : ================================================================================== Grid : Message : 1.143759 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.143888 s : * Using sequential Comms/Compute Grid : Message : 1.144024 s : * SINGLE precision Grid : Message : 1.144154 s : ================================================================================== Grid : Message : 1.195173 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.195342 s : Deo mflop/s = 249695.9 (1194.6) 147237.9-276480.0 Grid : Message : 1.195593 s : Deo mflop/s per rank 124848.0 Grid : Message : 1.195757 s : Deo mflop/s per node 249695.9 Grid : Message : 1.195919 s : ================================================================================== Grid : Message : 1.196057 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.196187 s : * Using Overlapped Comms/Compute Grid : Message : 1.196317 s : * SINGLE precision Grid : Message : 1.196447 s : ================================================================================== Grid : Message : 1.240346 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.240514 s : Deo mflop/s = 290515.1 (661.2) 207360.0-303453.7 Grid : Message : 1.240764 s : Deo mflop/s per rank 145257.6 Grid : Message : 1.240929 s : Deo mflop/s per node 290515.1 Grid : Message : 1.241091 s : ================================================================================== Grid : Message : 1.241221 s : 12^4 x 1 Deo Best mflop/s = 291741.3 ; 291741.3 per node Grid : Message : 1.241438 s : 12^4 x 1 Deo Worst mflop/s = 249695.9 ; 249695.9 per node Grid : Message : 1.241654 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 1.241784 s : 268265.1 ; 291741.3 ; 249695.9 ; 290515.1 ; Grid : Message : 1.242002 s : ================================================================================== Grid : Message : 1.245506 s : ================================================================================== Grid : Message : 1.245640 s : Benchmark DWF on 16^4 local volume Grid : Message : 1.245794 s : * Nc : 3 Grid : Message : 1.245937 s : * Global volume : 32 16 16 16 Grid : Message : 1.246095 s : * Ls : 1 Grid : Message : 1.246238 s : * ranks : 2 Grid : Message : 1.246381 s : * nodes : 1 Grid : Message : 1.246524 s : * ranks/node : 2 Grid : Message : 1.246667 s : * ranks geom : 2 1 1 1 Grid : Message : 1.246811 s : * Using 24 threads Grid : Message : 1.246967 s : ================================================================================== Grid : Message : 1.284662 s : Initialised RNGs Grid : Message : 1.356354 s : ================================================================================== Grid : Message : 1.356501 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.356632 s : * Using sequential Comms/Compute Grid : Message : 1.356763 s : * SINGLE precision Grid : Message : 1.356894 s : ================================================================================== Grid : Message : 1.540474 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.540660 s : Deo mflop/s = 219415.1 (415.2) 120249.5-227951.3 Grid : Message : 1.540912 s : Deo mflop/s per rank 109707.6 Grid : Message : 1.541089 s : Deo mflop/s per node 219415.1 Grid : Message : 1.541234 s : ================================================================================== Grid : Message : 1.541364 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.541494 s : * Using Overlapped Comms/Compute Grid : Message : 1.541624 s : * SINGLE precision Grid : Message : 1.541754 s : ================================================================================== Grid : Message : 1.718547 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.718729 s : Deo mflop/s = 227213.7 (185.9) 215460.8-235458.7 Grid : Message : 1.718981 s : Deo mflop/s per rank 113606.8 Grid : Message : 1.719165 s : Deo mflop/s per node 227213.7 Grid : Message : 1.719310 s : ================================================================================== Grid : Message : 1.719440 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.719569 s : * Using sequential Comms/Compute Grid : Message : 1.719699 s : * SINGLE precision Grid : Message : 1.719828 s : ================================================================================== Grid : Message : 1.903833 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.904026 s : Deo mflop/s = 218315.1 (201.9) 182891.2-227951.3 Grid : Message : 1.904278 s : Deo mflop/s per rank 109157.5 Grid : Message : 1.904453 s : Deo mflop/s per node 218315.1 Grid : Message : 1.904597 s : ================================================================================== Grid : Message : 1.904727 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.904857 s : * Using Overlapped Comms/Compute Grid : Message : 1.904986 s : * SINGLE precision Grid : Message : 1.905124 s : ================================================================================== Grid : Message : 2.823150 s : Deo FlopsPerSite is 1200.0 Grid : Message : 2.825090 s : Deo mflop/s = 226710.6 (232.3) 203738.9-236877.1 Grid : Message : 2.827740 s : Deo mflop/s per rank 113355.3 Grid : Message : 2.829520 s : Deo mflop/s per node 226710.6 Grid : Message : 2.831140 s : ================================================================================== Grid : Message : 2.832550 s : 16^4 x 1 Deo Best mflop/s = 227213.7 ; 227213.7 per node Grid : Message : 2.834820 s : 16^4 x 1 Deo Worst mflop/s = 218315.1 ; 218315.1 per node Grid : Message : 2.837090 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 2.838500 s : 219415.1 ; 227213.7 ; 218315.1 ; 226710.6 ; Grid : Message : 2.840860 s : ================================================================================== Grid : Message : 2.906760 s : ================================================================================== Grid : Message : 2.908250 s : Benchmark DWF on 24^4 local volume Grid : Message : 2.909930 s : * Nc : 3 Grid : Message : 2.911570 s : * Global volume : 48 24 24 24 Grid : Message : 2.913160 s : * Ls : 1 Grid : Message : 2.914700 s : * ranks : 2 Grid : Message : 2.916250 s : * nodes : 1 Grid : Message : 2.917790 s : * ranks/node : 2 Grid : Message : 2.919320 s : * ranks geom : 2 1 1 1 Grid : Message : 2.920960 s : * Using 24 threads Grid : Message : 2.922630 s : ================================================================================== Grid : Message : 2.262012 s : Initialised RNGs Grid : Message : 2.646325 s : ================================================================================== Grid : Message : 2.646472 s : * Using GENERIC Nc WilsonKernels Grid : Message : 2.646604 s : * Using sequential Comms/Compute Grid : Message : 2.646734 s : * SINGLE precision Grid : Message : 2.646865 s : ================================================================================== Grid : Message : 3.738734 s : Deo FlopsPerSite is 1200.0 Grid : Message : 3.738919 s : Deo mflop/s = 186245.6 (106.7) 163705.3-188152.7 Grid : Message : 3.739161 s : Deo mflop/s per rank 93122.8 Grid : Message : 3.739331 s : Deo mflop/s per node 186245.6 Grid : Message : 3.739476 s : ================================================================================== Grid : Message : 3.739606 s : * Using GENERIC Nc WilsonKernels Grid : Message : 3.739735 s : * Using Overlapped Comms/Compute Grid : Message : 3.739864 s : * SINGLE precision Grid : Message : 3.739993 s : ================================================================================== Grid : Message : 4.874210 s : Deo FlopsPerSite is 1200.0 Grid : Message : 4.874379 s : Deo mflop/s = 179054.2 (136.7) 152249.0-180804.4 Grid : Message : 4.874631 s : Deo mflop/s per rank 89527.1 Grid : Message : 4.874804 s : Deo mflop/s per node 179054.2 Grid : Message : 4.874948 s : ================================================================================== Grid : Message : 4.875086 s : * Using GENERIC Nc WilsonKernels Grid : Message : 4.875215 s : * Using sequential Comms/Compute Grid : Message : 4.875345 s : * SINGLE precision Grid : Message : 4.875475 s : ================================================================================== Grid : Message : 5.967383 s : Deo FlopsPerSite is 1200.0 Grid : Message : 5.967567 s : Deo mflop/s = 186007.8 (152.2) 148611.9-188063.9 Grid : Message : 5.967819 s : Deo mflop/s per rank 93003.9 Grid : Message : 5.967996 s : Deo mflop/s per node 186007.8 Grid : Message : 5.968149 s : ================================================================================== Grid : Message : 5.968279 s : * Using GENERIC Nc WilsonKernels Grid : Message : 5.968409 s : * Using Overlapped Comms/Compute Grid : Message : 5.968539 s : * SINGLE precision Grid : Message : 5.968668 s : ================================================================================== Grid : Message : 7.105202 s : Deo FlopsPerSite is 1200.0 Grid : Message : 7.105388 s : Deo mflop/s = 178677.0 (330.0) 98865.5-180968.7 Grid : Message : 7.105639 s : Deo mflop/s per rank 89338.5 Grid : Message : 7.105810 s : Deo mflop/s per node 178677.0 Grid : Message : 7.105955 s : ================================================================================== Grid : Message : 7.106092 s : 24^4 x 1 Deo Best mflop/s = 186245.6 ; 186245.6 per node Grid : Message : 7.106309 s : 24^4 x 1 Deo Worst mflop/s = 178677.0 ; 178677.0 per node Grid : Message : 7.106525 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 7.106656 s : 186245.6 ; 179054.2 ; 186007.8 ; 178677.0 ; Grid : Message : 7.106874 s : ================================================================================== Grid : Message : 7.136529 s : ================================================================================== Grid : Message : 7.136671 s : Benchmark DWF on 32^4 local volume Grid : Message : 7.136825 s : * Nc : 3 Grid : Message : 7.136968 s : * Global volume : 64 32 32 32 Grid : Message : 7.137124 s : * Ls : 1 Grid : Message : 7.137267 s : * ranks : 2 Grid : Message : 7.137410 s : * nodes : 1 Grid : Message : 7.137553 s : * ranks/node : 2 Grid : Message : 7.137696 s : * ranks geom : 2 1 1 1 Grid : Message : 7.137841 s : * Using 24 threads Grid : Message : 7.137997 s : ================================================================================== Grid : Message : 7.650613 s : Initialised RNGs Grid : Message : 8.904749 s : ================================================================================== Grid : Message : 8.904897 s : * Using GENERIC Nc WilsonKernels Grid : Message : 8.905036 s : * Using sequential Comms/Compute Grid : Message : 8.905167 s : * SINGLE precision Grid : Message : 8.905298 s : ================================================================================== Grid : Message : 13.263708 s : Deo FlopsPerSite is 1200.0 Grid : Message : 13.294835 s : Deo mflop/s = 147928.1 (6274.0) 7738.4-159015.7 Grid : Message : 13.295158 s : Deo mflop/s per rank 73964.0 Grid : Message : 13.295389 s : Deo mflop/s per node 147928.1 Grid : Message : 13.295598 s : ================================================================================== Grid : Message : 13.295785 s : * Using GENERIC Nc WilsonKernels Grid : Message : 13.295972 s : * Using Overlapped Comms/Compute Grid : Message : 13.296165 s : * SINGLE precision Grid : Message : 13.296353 s : ================================================================================== Grid : Message : 17.565762 s : Deo FlopsPerSite is 1200.0 Grid : Message : 17.565796 s : Deo mflop/s = 150612.4 (115.2) 130419.9-151949.2 Grid : Message : 17.565817 s : Deo mflop/s per rank 75306.2 Grid : Message : 17.565829 s : Deo mflop/s per node 150612.4 Grid : Message : 17.565841 s : ================================================================================== Grid : Message : 17.565851 s : * Using GENERIC Nc WilsonKernels Grid : Message : 17.565861 s : * Using sequential Comms/Compute Grid : Message : 17.565870 s : * SINGLE precision Grid : Message : 17.565880 s : ================================================================================== Grid : Message : 21.678742 s : Deo FlopsPerSite is 1200.0 Grid : Message : 21.680267 s : Deo mflop/s = 156185.5 (471.6) 83813.4-158634.8 Grid : Message : 21.680289 s : Deo mflop/s per rank 78092.7 Grid : Message : 21.680299 s : Deo mflop/s per node 156185.5 Grid : Message : 21.680310 s : ================================================================================== Grid : Message : 21.680319 s : * Using GENERIC Nc WilsonKernels Grid : Message : 21.680328 s : * Using Overlapped Comms/Compute Grid : Message : 21.680462 s : * SINGLE precision Grid : Message : 21.680569 s : ================================================================================== Grid : Message : 25.936994 s : Deo FlopsPerSite is 1200.0 Grid : Message : 25.937192 s : Deo mflop/s = 150795.1 (91.7) 130190.5-152151.3 Grid : Message : 25.937454 s : Deo mflop/s per rank 75397.5 Grid : Message : 25.937624 s : Deo mflop/s per node 150795.1 Grid : Message : 25.937775 s : ================================================================================== Grid : Message : 25.937912 s : 32^4 x 1 Deo Best mflop/s = 156185.5 ; 156185.5 per node Grid : Message : 25.938144 s : 32^4 x 1 Deo Worst mflop/s = 147928.1 ; 147928.1 per node Grid : Message : 25.938372 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 25.938509 s : 147928.1 ; 150612.4 ; 156185.5 ; 150795.1 ; Grid : Message : 25.938738 s : ================================================================================== Grid : Message : 26.286050 s : ================================================================================== Grid : Message : 26.287660 s : Domain wall dslash 4D vectorised Grid : Message : 26.289150 s : ================================================================================== Grid : Message : 26.408520 s : ================================================================================== Grid : Message : 26.410120 s : Benchmark DWF on 8^4 local volume Grid : Message : 26.411910 s : * Nc : 3 Grid : Message : 26.413560 s : * Global volume : 16 8 8 8 Grid : Message : 26.429940 s : * Ls : 12 Grid : Message : 26.431650 s : * ranks : 2 Grid : Message : 26.433290 s : * nodes : 1 Grid : Message : 26.434920 s : * ranks/node : 2 Grid : Message : 26.436560 s : * ranks geom : 2 1 1 1 Grid : Message : 26.438220 s : * Using 24 threads Grid : Message : 26.439960 s : ================================================================================== Grid : Message : 26.589630 s : Initialised RNGs Grid : Message : 26.207221 s : ================================================================================== Grid : Message : 26.207237 s : * Using GENERIC Nc WilsonKernels Grid : Message : 26.207245 s : * Using sequential Comms/Compute Grid : Message : 26.207252 s : * SINGLE precision Grid : Message : 26.207260 s : ================================================================================== Grid : Message : 26.311832 s : Deo FlopsPerSite is 1200.0 Grid : Message : 26.312027 s : Deo mflop/s = 291044.0 (650.3) 211406.5-302473.8 Grid : Message : 26.312286 s : Deo mflop/s per rank 145522.0 Grid : Message : 26.312462 s : Deo mflop/s per node 291044.0 Grid : Message : 26.312612 s : ================================================================================== Grid : Message : 26.312750 s : * Using GENERIC Nc WilsonKernels Grid : Message : 26.312885 s : * Using Overlapped Comms/Compute Grid : Message : 26.313028 s : * SINGLE precision Grid : Message : 26.313165 s : ================================================================================== Grid : Message : 26.406672 s : Deo FlopsPerSite is 1200.0 Grid : Message : 26.406847 s : Deo mflop/s = 322495.0 (369.9) 300930.6-329510.6 Grid : Message : 26.407113 s : Deo mflop/s per rank 161247.5 Grid : Message : 26.407303 s : Deo mflop/s per node 322495.0 Grid : Message : 26.407453 s : ================================================================================== Grid : Message : 26.407589 s : * Using GENERIC Nc WilsonKernels Grid : Message : 26.407724 s : * Using sequential Comms/Compute Grid : Message : 26.407859 s : * SINGLE precision Grid : Message : 26.407995 s : ================================================================================== Grid : Message : 26.511713 s : Deo FlopsPerSite is 1200.0 Grid : Message : 26.511886 s : Deo mflop/s = 290648.2 (352.5) 244740.2-297890.9 Grid : Message : 26.512155 s : Deo mflop/s per rank 145324.1 Grid : Message : 26.512324 s : Deo mflop/s per node 290648.2 Grid : Message : 26.512487 s : ================================================================================== Grid : Message : 26.512625 s : * Using GENERIC Nc WilsonKernels Grid : Message : 26.512762 s : * Using Overlapped Comms/Compute Grid : Message : 26.512899 s : * SINGLE precision Grid : Message : 26.513042 s : ================================================================================== Grid : Message : 26.606576 s : Deo FlopsPerSite is 1200.0 Grid : Message : 26.606748 s : Deo mflop/s = 322304.7 (439.9) 238795.1-329510.6 Grid : Message : 26.607012 s : Deo mflop/s per rank 161152.3 Grid : Message : 26.607182 s : Deo mflop/s per node 322304.7 Grid : Message : 26.607345 s : ================================================================================== Grid : Message : 26.607482 s : 8^4 x 12 Deo Best mflop/s = 322495.0 ; 322495.0 per node Grid : Message : 26.607711 s : 8^4 x 12 Deo Worst mflop/s = 290648.2 ; 290648.2 per node Grid : Message : 26.607939 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 26.608081 s : 291044.0 ; 322495.0 ; 290648.2 ; 322304.7 ; Grid : Message : 26.608309 s : ================================================================================== Grid : Message : 26.613401 s : ================================================================================== Grid : Message : 26.613541 s : Benchmark DWF on 12^4 local volume Grid : Message : 26.613702 s : * Nc : 3 Grid : Message : 26.613850 s : * Global volume : 24 12 12 12 Grid : Message : 26.614013 s : * Ls : 12 Grid : Message : 26.614164 s : * ranks : 2 Grid : Message : 26.614313 s : * nodes : 1 Grid : Message : 26.614463 s : * ranks/node : 2 Grid : Message : 26.614614 s : * ranks geom : 2 1 1 1 Grid : Message : 26.614766 s : * Using 24 threads Grid : Message : 26.614929 s : ================================================================================== Grid : Message : 26.675128 s : Initialised RNGs Grid : Message : 26.730829 s : ================================================================================== Grid : Message : 26.730948 s : * Using GENERIC Nc WilsonKernels Grid : Message : 26.731095 s : * Using sequential Comms/Compute Grid : Message : 26.731232 s : * SINGLE precision Grid : Message : 26.731368 s : ================================================================================== Grid : Message : 27.244271 s : Deo FlopsPerSite is 1200.0 Grid : Message : 27.244443 s : Deo mflop/s = 297742.1 (1425.2) 103142.8-309108.1 Grid : Message : 27.244694 s : Deo mflop/s per rank 148871.0 Grid : Message : 27.244872 s : Deo mflop/s per node 297742.1 Grid : Message : 27.245031 s : ================================================================================== Grid : Message : 27.245167 s : * Using GENERIC Nc WilsonKernels Grid : Message : 27.245304 s : * Using Overlapped Comms/Compute Grid : Message : 27.245440 s : * SINGLE precision Grid : Message : 27.245576 s : ================================================================================== Grid : Message : 27.717331 s : Deo FlopsPerSite is 1200.0 Grid : Message : 27.717519 s : Deo mflop/s = 322998.3 (305.6) 258303.1-331407.8 Grid : Message : 27.717782 s : Deo mflop/s per rank 161499.2 Grid : Message : 27.717984 s : Deo mflop/s per node 322998.3 Grid : Message : 27.718166 s : ================================================================================== Grid : Message : 27.718321 s : * Using GENERIC Nc WilsonKernels Grid : Message : 27.718474 s : * Using sequential Comms/Compute Grid : Message : 27.718628 s : * SINGLE precision Grid : Message : 27.718782 s : ================================================================================== Grid : Message : 28.228201 s : Deo FlopsPerSite is 1200.0 Grid : Message : 28.228388 s : Deo mflop/s = 299173.4 (378.8) 236420.0-310716.3 Grid : Message : 28.228647 s : Deo mflop/s per rank 149586.7 Grid : Message : 28.228829 s : Deo mflop/s per node 299173.4 Grid : Message : 28.228981 s : ================================================================================== Grid : Message : 28.229128 s : * Using GENERIC Nc WilsonKernels Grid : Message : 28.229264 s : * Using Overlapped Comms/Compute Grid : Message : 28.229401 s : * SINGLE precision Grid : Message : 28.229537 s : ================================================================================== Grid : Message : 28.702769 s : Deo FlopsPerSite is 1200.0 Grid : Message : 28.702959 s : Deo mflop/s = 321984.1 (147.6) 308151.1-330308.0 Grid : Message : 28.703249 s : Deo mflop/s per rank 160992.1 Grid : Message : 28.703431 s : Deo mflop/s per node 321984.1 Grid : Message : 28.703596 s : ================================================================================== Grid : Message : 28.703745 s : 12^4 x 12 Deo Best mflop/s = 322998.3 ; 322998.3 per node Grid : Message : 28.703995 s : 12^4 x 12 Deo Worst mflop/s = 297742.1 ; 297742.1 per node Grid : Message : 28.704260 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 28.704402 s : 297742.1 ; 322998.3 ; 299173.4 ; 321984.1 ; Grid : Message : 28.704642 s : ================================================================================== Grid : Message : 28.715911 s : ================================================================================== Grid : Message : 28.716069 s : Benchmark DWF on 16^4 local volume Grid : Message : 28.716234 s : * Nc : 3 Grid : Message : 28.716384 s : * Global volume : 32 16 16 16 Grid : Message : 28.716541 s : * Ls : 12 Grid : Message : 28.716694 s : * ranks : 2 Grid : Message : 28.716845 s : * nodes : 1 Grid : Message : 28.716993 s : * ranks/node : 2 Grid : Message : 28.717151 s : * ranks geom : 2 1 1 1 Grid : Message : 28.717303 s : * Using 24 threads Grid : Message : 28.717466 s : ================================================================================== Grid : Message : 28.917470 s : Initialised RNGs Grid : Message : 29.100893 s : ================================================================================== Grid : Message : 29.101053 s : * Using GENERIC Nc WilsonKernels Grid : Message : 29.101190 s : * Using sequential Comms/Compute Grid : Message : 29.101328 s : * SINGLE precision Grid : Message : 29.101466 s : ================================================================================== Grid : Message : 30.975682 s : Deo FlopsPerSite is 1200.0 Grid : Message : 30.977284 s : Deo mflop/s = 257272.7 (1156.9) 94579.9-267115.3 Grid : Message : 30.977306 s : Deo mflop/s per rank 128636.3 Grid : Message : 30.977317 s : Deo mflop/s per node 257272.7 Grid : Message : 30.977330 s : ================================================================================== Grid : Message : 30.977338 s : * Using GENERIC Nc WilsonKernels Grid : Message : 30.977347 s : * Using Overlapped Comms/Compute Grid : Message : 30.977355 s : * SINGLE precision Grid : Message : 30.977364 s : ================================================================================== Grid : Message : 32.872411 s : Deo FlopsPerSite is 1200.0 Grid : Message : 32.872443 s : Deo mflop/s = 255305.6 (316.9) 201391.0-261417.8 Grid : Message : 32.872465 s : Deo mflop/s per rank 127652.8 Grid : Message : 32.872476 s : Deo mflop/s per node 255305.6 Grid : Message : 32.872489 s : ================================================================================== Grid : Message : 32.872499 s : * Using GENERIC Nc WilsonKernels Grid : Message : 32.872509 s : * Using sequential Comms/Compute Grid : Message : 32.872519 s : * SINGLE precision Grid : Message : 32.872529 s : ================================================================================== Grid : Message : 34.745789 s : Deo FlopsPerSite is 1200.0 Grid : Message : 34.745819 s : Deo mflop/s = 256969.9 (265.0) 204400.8-263755.8 Grid : Message : 34.745839 s : Deo mflop/s per rank 128485.0 Grid : Message : 34.745852 s : Deo mflop/s per node 256969.9 Grid : Message : 34.745866 s : ================================================================================== Grid : Message : 34.745876 s : * Using GENERIC Nc WilsonKernels Grid : Message : 34.745886 s : * Using Overlapped Comms/Compute Grid : Message : 34.745896 s : * SINGLE precision Grid : Message : 34.745907 s : ================================================================================== Grid : Message : 36.632461 s : Deo FlopsPerSite is 1200.0 Grid : Message : 36.632488 s : Deo mflop/s = 255169.8 (220.8) 204268.1-261562.7 Grid : Message : 36.632508 s : Deo mflop/s per rank 127584.9 Grid : Message : 36.632520 s : Deo mflop/s per node 255169.8 Grid : Message : 36.632531 s : ================================================================================== Grid : Message : 36.632541 s : 16^4 x 12 Deo Best mflop/s = 257272.7 ; 257272.7 per node Grid : Message : 36.632560 s : 16^4 x 12 Deo Worst mflop/s = 255169.8 ; 255169.8 per node Grid : Message : 36.632577 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 36.632586 s : 257272.7 ; 255305.6 ; 256969.9 ; 255169.8 ; Grid : Message : 36.632606 s : ================================================================================== Grid : Message : 36.678547 s : ================================================================================== Grid : Message : 36.678697 s : Benchmark DWF on 24^4 local volume Grid : Message : 36.678862 s : * Nc : 3 Grid : Message : 36.679023 s : * Global volume : 48 24 24 24 Grid : Message : 36.679191 s : * Ls : 12 Grid : Message : 36.679342 s : * ranks : 2 Grid : Message : 36.679493 s : * nodes : 1 Grid : Message : 36.679644 s : * ranks/node : 2 Grid : Message : 36.679793 s : * ranks geom : 2 1 1 1 Grid : Message : 36.679945 s : * Using 24 threads Grid : Message : 36.680114 s : ================================================================================== Grid : Message : 37.715073 s : Initialised RNGs Grid : Message : 38.633135 s : ================================================================================== Grid : Message : 38.633256 s : * Using GENERIC Nc WilsonKernels Grid : Message : 38.633398 s : * Using sequential Comms/Compute Grid : Message : 38.633535 s : * SINGLE precision Grid : Message : 38.633674 s : ================================================================================== Grid : Message : 47.724788 s : Deo FlopsPerSite is 1200.0 Grid : Message : 47.724820 s : Deo mflop/s = 268061.8 (681.3) 133717.0-277105.4 Grid : Message : 47.724839 s : Deo mflop/s per rank 134030.9 Grid : Message : 47.724850 s : Deo mflop/s per node 268061.8 Grid : Message : 47.724937 s : ================================================================================== Grid : Message : 47.724947 s : * Using GENERIC Nc WilsonKernels Grid : Message : 47.724955 s : * Using Overlapped Comms/Compute Grid : Message : 47.724963 s : * SINGLE precision Grid : Message : 47.724972 s : ================================================================================== Grid : Message : 57.956050 s : Deo FlopsPerSite is 1200.0 Grid : Message : 57.971470 s : Deo mflop/s = 260137.1 (302.1) 195138.4-264509.7 Grid : Message : 57.971680 s : Deo mflop/s per rank 130068.5 Grid : Message : 57.971800 s : Deo mflop/s per node 260137.1 Grid : Message : 57.971920 s : ================================================================================== Grid : Message : 57.972010 s : * Using GENERIC Nc WilsonKernels Grid : Message : 57.972110 s : * Using sequential Comms/Compute Grid : Message : 57.972200 s : * SINGLE precision Grid : Message : 57.972290 s : ================================================================================== Grid : Message : 66.505850 s : Deo FlopsPerSite is 1200.0 Grid : Message : 66.505885 s : Deo mflop/s = 259112.8 (624.1) 171997.5-276496.0 Grid : Message : 66.505907 s : Deo mflop/s per rank 129556.4 Grid : Message : 66.505918 s : Deo mflop/s per node 259112.8 Grid : Message : 66.505930 s : ================================================================================== Grid : Message : 66.505939 s : * Using GENERIC Nc WilsonKernels Grid : Message : 66.505948 s : * Using Overlapped Comms/Compute Grid : Message : 66.505957 s : * SINGLE precision Grid : Message : 66.505966 s : ================================================================================== Grid : Message : 76.617980 s : Deo FlopsPerSite is 1200.0 Grid : Message : 76.619775 s : Deo mflop/s = 241011.3 (583.1) 122348.2-255485.3 Grid : Message : 76.619987 s : Deo mflop/s per rank 120505.6 Grid : Message : 76.620132 s : Deo mflop/s per node 241011.3 Grid : Message : 76.620308 s : ================================================================================== Grid : Message : 76.620462 s : 24^4 x 12 Deo Best mflop/s = 268061.8 ; 268061.8 per node Grid : Message : 76.620684 s : 24^4 x 12 Deo Worst mflop/s = 241011.3 ; 241011.3 per node Grid : Message : 76.620924 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 76.621095 s : 268061.8 ; 260137.1 ; 259112.8 ; 241011.3 ; Grid : Message : 76.621367 s : ================================================================================== Grid : Message : 76.808137 s : ================================================================================== Grid : Message : 76.808153 s : Benchmark DWF on 32^4 local volume Grid : Message : 76.808163 s : * Nc : 3 Grid : Message : 76.808172 s : * Global volume : 64 32 32 32 Grid : Message : 76.808699 s : * Ls : 12 Grid : Message : 76.808707 s : * ranks : 2 Grid : Message : 76.808715 s : * nodes : 1 Grid : Message : 76.808723 s : * ranks/node : 2 Grid : Message : 76.808731 s : * ranks geom : 2 1 1 1 Grid : Message : 76.808741 s : * Using 24 threads Grid : Message : 76.808751 s : ================================================================================== Grid : Message : 80.158204 s : Initialised RNGs Grid : Message : 83.121511 s : ================================================================================== Grid : Message : 83.121534 s : * Using GENERIC Nc WilsonKernels Grid : Message : 83.121541 s : * Using sequential Comms/Compute Grid : Message : 83.121549 s : * SINGLE precision Grid : Message : 83.121557 s : ================================================================================== Grid : Message : 122.789454 s : Deo FlopsPerSite is 1200.0 Grid : Message : 122.791259 s : Deo mflop/s = 193957.4 (582.6) 111582.0-214067.9 Grid : Message : 122.791469 s : Deo mflop/s per rank 96978.7 Grid : Message : 122.791604 s : Deo mflop/s per node 193957.4 Grid : Message : 122.791738 s : ================================================================================== Grid : Message : 122.791877 s : * Using GENERIC Nc WilsonKernels Grid : Message : 122.792009 s : * Using Overlapped Comms/Compute Grid : Message : 122.792137 s : * SINGLE precision Grid : Message : 122.792259 s : ================================================================================== Grid : Message : 164.293205 s : Deo FlopsPerSite is 1200.0 Grid : Message : 164.294971 s : Deo mflop/s = 185578.8 (60.6) 172486.8-189271.3 Grid : Message : 164.295244 s : Deo mflop/s per rank 92789.4 Grid : Message : 164.295423 s : Deo mflop/s per node 185578.8 Grid : Message : 164.295590 s : ================================================================================== Grid : Message : 164.295739 s : * Using GENERIC Nc WilsonKernels Grid : Message : 164.295887 s : * Using sequential Comms/Compute Grid : Message : 164.296042 s : * SINGLE precision Grid : Message : 164.296190 s : ================================================================================== Grid : Message : 204.729190 s : Deo FlopsPerSite is 1200.0 Grid : Message : 204.730769 s : Deo mflop/s = 190476.7 (91.3) 160783.4-198291.4 Grid : Message : 204.730792 s : Deo mflop/s per rank 95238.3 Grid : Message : 204.730805 s : Deo mflop/s per node 190476.7 Grid : Message : 204.730817 s : ================================================================================== Grid : Message : 204.730827 s : * Using GENERIC Nc WilsonKernels Grid : Message : 204.730836 s : * Using Overlapped Comms/Compute Grid : Message : 204.730845 s : * SINGLE precision Grid : Message : 204.730855 s : ================================================================================== Grid : Message : 246.336803 s : Deo FlopsPerSite is 1200.0 Grid : Message : 246.351806 s : Deo mflop/s = 185115.0 (333.9) 114503.7-194405.7 Grid : Message : 246.351883 s : Deo mflop/s per rank 92557.5 Grid : Message : 246.351915 s : Deo mflop/s per node 185115.0 Grid : Message : 246.351947 s : ================================================================================== Grid : Message : 246.351975 s : 32^4 x 12 Deo Best mflop/s = 193957.4 ; 193957.4 per node Grid : Message : 246.352040 s : 32^4 x 12 Deo Worst mflop/s = 185115.0 ; 185115.0 per node Grid : Message : 246.352097 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 246.352125 s : 193957.4 ; 185578.8 ; 190476.7 ; 185115.0 ; Grid : Message : 246.352183 s : ================================================================================== Grid : Message : 246.877973 s : ================================================================================== Grid : Message : 246.878001 s : Improved Staggered dslash 4D vectorised Grid : Message : 246.878008 s : ================================================================================== Grid : Message : 246.887321 s : ================================================================================== Grid : Message : 246.887334 s : Benchmark ImprovedStaggered on 8^4 local volume Grid : Message : 246.887344 s : * Global volume : 16 8 8 8 Grid : Message : 246.887884 s : * ranks : 2 Grid : Message : 246.887892 s : * nodes : 1 Grid : Message : 246.887901 s : * ranks/node : 2 Grid : Message : 246.887908 s : * ranks geom : 2 1 1 1 Grid : Message : 246.887918 s : * Using 24 threads Grid : Message : 246.887927 s : ================================================================================== Grid : Message : 246.889420 s : Initialised RNGs Grid : Message : 246.912844 s : ================================================================================== Grid : Message : 246.913024 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 246.913162 s : * Using sequential Comms/Compute Grid : Message : 246.913300 s : * SINGLE precision Grid : Message : 246.913438 s : ================================================================================== Grid : Message : 246.986847 s : Deo mflop/s = 36744.9 (8793.4) 5004.3-102043.8 Grid : Message : 246.987102 s : Deo mflop/s per rank 18372.5 Grid : Message : 246.987271 s : Deo mflop/s per node 36744.9 Grid : Message : 246.987439 s : ================================================================================== Grid : Message : 246.987592 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 246.987728 s : * Using Overlapped Comms/Compute Grid : Message : 246.987864 s : * SINGLE precision Grid : Message : 246.988008 s : ================================================================================== Grid : Message : 247.133150 s : Deo mflop/s = 96066.8 (687.1) 23588.0-102043.8 Grid : Message : 247.135880 s : Deo mflop/s per rank 48033.4 Grid : Message : 247.137690 s : Deo mflop/s per node 96066.8 Grid : Message : 247.139640 s : ================================================================================== Grid : Message : 247.141230 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 247.142720 s : * Using sequential Comms/Compute Grid : Message : 247.144200 s : * SINGLE precision Grid : Message : 247.145690 s : ================================================================================== Grid : Message : 247.433710 s : Deo mflop/s = 83651.4 (6460.7) 2417.1-95796.2 Grid : Message : 247.436440 s : Deo mflop/s per rank 41825.7 Grid : Message : 247.438270 s : Deo mflop/s per node 83651.4 Grid : Message : 247.440340 s : ================================================================================== Grid : Message : 247.441850 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 247.443340 s : * Using Overlapped Comms/Compute Grid : Message : 247.444840 s : * SINGLE precision Grid : Message : 247.446340 s : ================================================================================== Grid : Message : 247.697950 s : Deo mflop/s = 96062.9 (471.9) 39779.8-104311.5 Grid : Message : 247.700740 s : Deo mflop/s per rank 48031.4 Grid : Message : 247.702550 s : Deo mflop/s per node 96062.9 Grid : Message : 247.704420 s : ================================================================================== Grid : Message : 247.705900 s : 8^4 Deo Best mflop/s = 96066.8 ; 96066.8 per node Grid : Message : 247.708040 s : 8^4 Deo Worst mflop/s = 36744.9 ; 36744.9 per node Grid : Message : 247.710240 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 247.711730 s : 36744.9 ; 96066.8 ; 83651.4 ; 96062.9 ; Grid : Message : 247.714170 s : ================================================================================== Grid : Message : 247.720110 s : ================================================================================== Grid : Message : 247.721630 s : Benchmark ImprovedStaggered on 12^4 local volume Grid : Message : 247.723370 s : * Global volume : 24 12 12 12 Grid : Message : 247.725040 s : * ranks : 2 Grid : Message : 247.726650 s : * nodes : 1 Grid : Message : 247.728270 s : * ranks/node : 2 Grid : Message : 247.729990 s : * ranks geom : 2 1 1 1 Grid : Message : 247.731640 s : * Using 24 threads Grid : Message : 247.733390 s : ================================================================================== Grid : Message : 247.788810 s : Initialised RNGs Grid : Message : 247.119591 s : ================================================================================== Grid : Message : 247.119743 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 247.119882 s : * Using sequential Comms/Compute Grid : Message : 247.120026 s : * SINGLE precision Grid : Message : 247.120162 s : ================================================================================== Grid : Message : 247.188862 s : Deo mflop/s = 177726.5 (392.9) 108015.7-188598.9 Grid : Message : 247.189147 s : Deo mflop/s per rank 88863.3 Grid : Message : 247.189314 s : Deo mflop/s per node 177726.5 Grid : Message : 247.189490 s : ================================================================================== Grid : Message : 247.189626 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 247.189755 s : * Using Overlapped Comms/Compute Grid : Message : 247.189858 s : * SINGLE precision Grid : Message : 247.190003 s : ================================================================================== Grid : Message : 247.252515 s : Deo mflop/s = 194591.0 (373.5) 157373.9-206638.7 Grid : Message : 247.252778 s : Deo mflop/s per rank 97295.5 Grid : Message : 247.252947 s : Deo mflop/s per node 194591.0 Grid : Message : 247.253130 s : ================================================================================== Grid : Message : 247.253277 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 247.253413 s : * Using sequential Comms/Compute Grid : Message : 247.253549 s : * SINGLE precision Grid : Message : 247.253685 s : ================================================================================== Grid : Message : 247.322965 s : Deo mflop/s = 175433.0 (298.3) 148521.6-184212.8 Grid : Message : 247.323235 s : Deo mflop/s per rank 87716.5 Grid : Message : 247.323403 s : Deo mflop/s per node 175433.0 Grid : Message : 247.323574 s : ================================================================================== Grid : Message : 247.323723 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 247.323860 s : * Using Overlapped Comms/Compute Grid : Message : 247.324000 s : * SINGLE precision Grid : Message : 247.324138 s : ================================================================================== Grid : Message : 247.386673 s : Deo mflop/s = 194457.3 (345.0) 172199.0-206638.7 Grid : Message : 247.386934 s : Deo mflop/s per rank 97228.6 Grid : Message : 247.387112 s : Deo mflop/s per node 194457.3 Grid : Message : 247.387280 s : ================================================================================== Grid : Message : 247.387427 s : 12^4 Deo Best mflop/s = 194591.0 ; 194591.0 per node Grid : Message : 247.387631 s : 12^4 Deo Worst mflop/s = 175433.0 ; 175433.0 per node Grid : Message : 247.387834 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 247.387970 s : 177726.5 ; 194591.0 ; 175433.0 ; 194457.3 ; Grid : Message : 247.388207 s : ================================================================================== Grid : Message : 247.391959 s : ================================================================================== Grid : Message : 247.392108 s : Benchmark ImprovedStaggered on 16^4 local volume Grid : Message : 247.392270 s : * Global volume : 32 16 16 16 Grid : Message : 247.392424 s : * ranks : 2 Grid : Message : 247.392574 s : * nodes : 1 Grid : Message : 247.392724 s : * ranks/node : 2 Grid : Message : 247.392873 s : * ranks geom : 2 1 1 1 Grid : Message : 247.393030 s : * Using 24 threads Grid : Message : 247.393191 s : ================================================================================== Grid : Message : 247.407581 s : Initialised RNGs Grid : Message : 247.537089 s : ================================================================================== Grid : Message : 247.537239 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 247.537378 s : * Using sequential Comms/Compute Grid : Message : 247.537515 s : * SINGLE precision Grid : Message : 247.537652 s : ================================================================================== Grid : Message : 247.804007 s : Deo mflop/s = 144194.4 (267.6) 94828.6-150509.5 Grid : Message : 247.804285 s : Deo mflop/s per rank 72097.2 Grid : Message : 247.804454 s : Deo mflop/s per node 144194.4 Grid : Message : 247.804640 s : ================================================================================== Grid : Message : 247.804776 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 247.804913 s : * Using Overlapped Comms/Compute Grid : Message : 247.805054 s : * SINGLE precision Grid : Message : 247.805191 s : ================================================================================== Grid : Message : 248.732570 s : Deo mflop/s = 143053.5 (97.2) 133875.7-147263.2 Grid : Message : 248.735470 s : Deo mflop/s per rank 71526.8 Grid : Message : 248.737050 s : Deo mflop/s per node 143053.5 Grid : Message : 248.738830 s : ================================================================================== Grid : Message : 248.740400 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 248.741900 s : * Using sequential Comms/Compute Grid : Message : 248.743390 s : * SINGLE precision Grid : Message : 248.744870 s : ================================================================================== Grid : Message : 248.339243 s : Deo mflop/s = 144834.6 (110.9) 128603.2-150509.5 Grid : Message : 248.339516 s : Deo mflop/s per rank 72417.3 Grid : Message : 248.339687 s : Deo mflop/s per node 144834.6 Grid : Message : 248.339866 s : ================================================================================== Grid : Message : 248.340010 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 248.340147 s : * Using Overlapped Comms/Compute Grid : Message : 248.340284 s : * SINGLE precision Grid : Message : 248.340421 s : ================================================================================== Grid : Message : 248.610547 s : Deo mflop/s = 141924.1 (271.5) 100811.1-146975.1 Grid : Message : 248.610824 s : Deo mflop/s per rank 70962.1 Grid : Message : 248.611001 s : Deo mflop/s per node 141924.1 Grid : Message : 248.611189 s : ================================================================================== Grid : Message : 248.611326 s : 16^4 Deo Best mflop/s = 144834.6 ; 144834.6 per node Grid : Message : 248.611530 s : 16^4 Deo Worst mflop/s = 141924.1 ; 141924.1 per node Grid : Message : 248.611732 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 248.611870 s : 144194.4 ; 143053.5 ; 144834.6 ; 141924.1 ; Grid : Message : 248.612107 s : ================================================================================== Grid : Message : 248.615144 s : ================================================================================== Grid : Message : 248.615287 s : Benchmark ImprovedStaggered on 24^4 local volume Grid : Message : 248.615451 s : * Global volume : 48 24 24 24 Grid : Message : 248.615609 s : * ranks : 2 Grid : Message : 248.615760 s : * nodes : 1 Grid : Message : 248.615912 s : * ranks/node : 2 Grid : Message : 248.616082 s : * ranks geom : 2 1 1 1 Grid : Message : 248.616234 s : * Using 24 threads Grid : Message : 248.616396 s : ================================================================================== Grid : Message : 248.688211 s : Initialised RNGs Grid : Message : 249.469599 s : ================================================================================== Grid : Message : 249.469750 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 249.469887 s : * Using sequential Comms/Compute Grid : Message : 249.470033 s : * SINGLE precision Grid : Message : 249.470169 s : ================================================================================== Grid : Message : 250.875874 s : Deo mflop/s = 138016.5 (171.6) 105674.1-139631.0 Grid : Message : 250.876161 s : Deo mflop/s per rank 69008.2 Grid : Message : 250.876331 s : Deo mflop/s per node 138016.5 Grid : Message : 250.876513 s : ================================================================================== Grid : Message : 250.876650 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 250.876787 s : * Using Overlapped Comms/Compute Grid : Message : 250.876925 s : * SINGLE precision Grid : Message : 250.877071 s : ================================================================================== Grid : Message : 252.379381 s : Deo mflop/s = 129070.0 (1525.3) 19079.5-131744.7 Grid : Message : 252.379634 s : Deo mflop/s per rank 64535.0 Grid : Message : 252.379806 s : Deo mflop/s per node 129070.0 Grid : Message : 252.379996 s : ================================================================================== Grid : Message : 252.380133 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 252.380270 s : * Using sequential Comms/Compute Grid : Message : 252.380392 s : * SINGLE precision Grid : Message : 252.380528 s : ================================================================================== Grid : Message : 253.788053 s : Deo mflop/s = 137782.1 (183.1) 105119.0-139477.4 Grid : Message : 253.788331 s : Deo mflop/s per rank 68891.1 Grid : Message : 253.788500 s : Deo mflop/s per node 137782.1 Grid : Message : 253.788690 s : ================================================================================== Grid : Message : 253.788827 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 253.788963 s : * Using Overlapped Comms/Compute Grid : Message : 253.789106 s : * SINGLE precision Grid : Message : 253.789243 s : ================================================================================== Grid : Message : 255.274370 s : Deo mflop/s = 130594.0 (79.4) 108169.4-131744.7 Grid : Message : 255.274646 s : Deo mflop/s per rank 65297.0 Grid : Message : 255.274827 s : Deo mflop/s per node 130594.0 Grid : Message : 255.275022 s : ================================================================================== Grid : Message : 255.275159 s : 24^4 Deo Best mflop/s = 138016.5 ; 138016.5 per node Grid : Message : 255.275362 s : 24^4 Deo Worst mflop/s = 129070.0 ; 129070.0 per node Grid : Message : 255.275566 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 255.275703 s : 138016.5 ; 129070.0 ; 137782.1 ; 130594.0 ; Grid : Message : 255.275933 s : ================================================================================== Grid : Message : 255.290091 s : ================================================================================== Grid : Message : 255.290237 s : Benchmark ImprovedStaggered on 32^4 local volume Grid : Message : 255.290399 s : * Global volume : 64 32 32 32 Grid : Message : 255.290555 s : * ranks : 2 Grid : Message : 255.290704 s : * nodes : 1 Grid : Message : 255.290854 s : * ranks/node : 2 Grid : Message : 255.291012 s : * ranks geom : 2 1 1 1 Grid : Message : 255.291164 s : * Using 24 threads Grid : Message : 255.291325 s : ================================================================================== Grid : Message : 255.533837 s : Initialised RNGs Grid : Message : 258.115777 s : ================================================================================== Grid : Message : 258.115906 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 258.116053 s : * Using sequential Comms/Compute Grid : Message : 258.116190 s : * SINGLE precision Grid : Message : 258.116327 s : ================================================================================== Grid : Message : 262.984976 s : Deo mflop/s = 126689.0 (257.9) 80741.0-128191.6 Grid : Message : 263.251120 s : Deo mflop/s per rank 63344.5 Grid : Message : 263.251260 s : Deo mflop/s per node 126689.0 Grid : Message : 263.251390 s : ================================================================================== Grid : Message : 263.251490 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 263.251580 s : * Using Overlapped Comms/Compute Grid : Message : 263.251660 s : * SINGLE precision Grid : Message : 263.251740 s : ================================================================================== Grid : Message : 268.246608 s : Deo mflop/s = 117570.7 (88.7) 101065.4-118332.7 Grid : Message : 268.246648 s : Deo mflop/s per rank 58785.4 Grid : Message : 268.246658 s : Deo mflop/s per node 117570.7 Grid : Message : 268.246670 s : ================================================================================== Grid : Message : 268.246678 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 268.246687 s : * Using sequential Comms/Compute Grid : Message : 268.246695 s : * SINGLE precision Grid : Message : 268.246703 s : ================================================================================== Grid : Message : 273.792630 s : Deo mflop/s = 126833.5 (295.5) 62560.8-128055.0 Grid : Message : 273.793060 s : Deo mflop/s per rank 63416.8 Grid : Message : 273.793180 s : Deo mflop/s per node 126833.5 Grid : Message : 273.793310 s : ================================================================================== Grid : Message : 273.793410 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 273.793510 s : * Using Overlapped Comms/Compute Grid : Message : 273.793620 s : * SINGLE precision Grid : Message : 273.793730 s : ================================================================================== Grid : Message : 278.288706 s : Deo mflop/s = 117680.1 (102.9) 86407.4-118344.3 Grid : Message : 278.288745 s : Deo mflop/s per rank 58840.0 Grid : Message : 278.288756 s : Deo mflop/s per node 117680.1 Grid : Message : 278.288766 s : ================================================================================== Grid : Message : 278.288775 s : 32^4 Deo Best mflop/s = 126833.5 ; 126833.5 per node Grid : Message : 278.288790 s : 32^4 Deo Worst mflop/s = 117570.7 ; 117570.7 per node Grid : Message : 278.288803 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 278.288812 s : 126689.0 ; 117570.7 ; 126833.5 ; 117680.1 ; Grid : Message : 278.289067 s : ================================================================================== Grid : Message : 278.334519 s : ================================================================================== Grid : Message : 278.334543 s : Summary table Ls=12 Grid : Message : 278.334553 s : ================================================================================== Grid : Message : 278.334562 s : L Wilson DWF4 Staggered Grid : Message : 278.334570 s : 8 167422.8 322495.0 96066.8 Grid : Message : 278.334595 s : 12 291741.3 322998.3 194591.0 Grid : Message : 278.334611 s : 16 227213.7 257272.7 144834.6 Grid : Message : 278.334627 s : 24 186245.6 268061.8 138016.5 Grid : Message : 278.334642 s : 32 156185.5 193957.4 126833.5 Grid : Message : 278.334658 s : ================================================================================== Grid : Message : 278.334667 s : ================================================================================== Grid : Message : 278.334675 s : Memory benchmark Grid : Message : 278.334728 s : ================================================================================== Grid : Message : 278.334907 s : ================================================================================== Grid : Message : 278.334915 s : = Benchmarking a*x + y bandwidth Grid : Message : 278.334923 s : ================================================================================== Grid : Message : 278.334932 s : L bytes GB/s Gflop/s seconds GB/s / node Grid : Message : 278.334950 s : ---------------------------------------------------------- Grid : Message : 279.370874 s : 8 1572864.000 394.047 32.837 1.022 394.047 Grid : Message : 279.842952 s : 16 25165824.000 957.624 79.802 0.420 957.624 Grid : Message : 282.608892 s : 24 127401984.000 150.119 12.510 2.682 150.119 Grid : Message : 285.812204 s : 32 402653184.000 126.382 10.532 3.186 126.382 Grid : Message : 285.812332 s : ================================================================================== Grid : Message : 285.812344 s : Memory benchmark Grid : Message : 285.812353 s : ================================================================================== Grid : Message : 285.812364 s : ================================================================================== Grid : Message : 285.812373 s : = Benchmarking z = y*x SU(4) bandwidth Grid : Message : 285.812382 s : ================================================================================== Grid : Message : 285.812390 s : L bytes GB/s Gflop/s seconds GB/s / node Grid : Message : 285.812405 s : ---------------------------------------------------------- Grid : Message : 287.866208 s : 8 3145728.000 393.836 492.295 2.045 393.836 Grid : Message : 291.590838 s : 16 50331648.000 216.376 270.470 3.722 216.376 Grid : Message : 297.660749 s : 24 254803968.000 132.994 166.242 6.054 132.994 Grid : Message : 304.949150 s : 32 805306368.000 125.538 156.923 6.415 125.538 Grid : Message : 304.101020 s : ================================================================================== Grid : Message : 304.101031 s : Per Node Summary table Ls=12 Grid : Message : 304.101040 s : ================================================================================== Grid : Message : 304.101049 s : L Wilson DWF4 Staggered Grid : Message : 304.101058 s : 8 167422.849 322494.997 96066.800 Grid : Message : 304.101077 s : 12 291741.312 322998.341 194591.025 Grid : Message : 304.101093 s : 16 227213.683 257272.685 144834.570 Grid : Message : 304.101109 s : 24 186245.572 268061.804 138016.496 Grid : Message : 304.101124 s : 32 156185.488 193957.380 126833.535 Grid : Message : 304.101140 s : ================================================================================== Grid : Message : 304.101149 s : ================================================================================== Grid : Message : 304.101157 s : Comparison point result: 231009.592 Mflop/s per node Grid : Message : 304.101168 s : Comparison point is 0.5*(193957.380+268061.804) Grid : Message : 304.101182 s : ==================================================================================