env CUDA_VISIBLE_DEVICES=3 UCX_NET_DEVICES=mlx5_2:1 numactl -m 5 ./Benchmark_ITT --mpi 1.1.1.4 env CUDA_VISIBLE_DEVICES=2 UCX_NET_DEVICES=mlx5_3:1 numactl -m 7 ./Benchmark_ITT --mpi 1.1.1.4 env CUDA_VISIBLE_DEVICES=1 UCX_NET_DEVICES=mlx5_0:1 numactl -m 1 ./Benchmark_ITT --mpi 1.1.1.4 env CUDA_VISIBLE_DEVICES=0 UCX_NET_DEVICES=mlx5_1:1 numactl -m 3 ./Benchmark_ITT --mpi 1.1.1.4 SLURM detected SLURM detected SLURM detected SLURM detected AcceleratorCudaInit[0]: ======================== AcceleratorCudaInit[0]: Device Number : 0 AcceleratorCudaInit[0]: ======================== AcceleratorCudaInit[0]: Device identifier: A100-SXM4-40GB AcceleratorCudaInit[0]: totalGlobalMem: 42506321920 AcceleratorCudaInit[0]: managedMemory: 1 AcceleratorCudaInit[0]: isMultiGpuBoard: 0 AcceleratorCudaInit[0]: warpSize: 32 AcceleratorCudaInit[0]: pciBusID: 68 AcceleratorCudaInit[0]: pciDeviceID: 0 AcceleratorCudaInit: ================================================ SharedMemoryMpi: World communicator of size 4 SharedMemoryMpi: Node communicator of size 4 SharedMemoryMpi: SharedMemoryMPI.cc cudaMalloc 1073741824bytes at 0x149900000000 for comms buffers __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ __|_ | | | | | | | | | | | | _|__ __|_ _|__ __|_ GGGG RRRR III DDDD _|__ __|_ G R R I D D _|__ __|_ G R R I D D _|__ __|_ G GG RRRR I D D _|__ __|_ G G R R I D D _|__ __|_ GGGG R R III DDDD _|__ __|_ _|__ __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ __|__|__|__|__|__|__|__|__|__|__|__|__|__|__ | | | | | | | | | | | | | | Copyright (C) 2015 Peter Boyle, Azusa Yamaguchi, Guido Cossu, Antonin Portelli and other authors This program is free software; you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation; either version 2 of the License, or (at your option) any later version. This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details. Current Grid git commit hash=12e239dd9fa2bd43e90d5b67bd1ab4f6bf9cdeb8: (HEAD -> master, tag: DIRAC-ITT-2020, origin/master) uncommited changes Grid : Message : ================================================ Grid : Message : MPI is initialised and logging filters activated Grid : Message : ================================================ Grid : Message : Requested 1073741824 byte stencil comms buffers Grid : Message : MemoryManager::Init() setting up Grid : Message : MemoryManager::Init() cache pool for recent allocations: SMALL 32 LARGE 8 Grid : Message : MemoryManager::Init() Unified memory space Grid : Message : MemoryManager::Init() Using cudaMallocManaged Grid : Message : 0.803613 s : ================================================================================== Grid : Message : 0.803620 s : = Grid is setup to use 1 threads Grid : Message : 0.803624 s : ================================================================================== Grid : Message : 0.803627 s : Grid Default Decomposition patterns Grid : Message : 0.803631 s : OpenMP threads : 1 Grid : Message : 0.803635 s : MPI tasks : 1 1 1 4 Grid : Message : 0.803646 s : vReal : 512bits ; 1 2 2 2 Grid : Message : 0.803660 s : vRealF : 512bits ; 2 2 2 2 Grid : Message : 0.803677 s : vRealD : 512bits ; 1 2 2 2 Grid : Message : 0.803690 s : vComplex : 512bits ; 1 1 2 2 Grid : Message : 0.803704 s : vComplexF : 512bits ; 1 2 2 2 Grid : Message : 0.803720 s : vComplexD : 512bits ; 1 1 2 2 Grid : Message : 0.803735 s : ================================================================================== Grid : Message : 0.803738 s : ================================================================================== Grid : Message : 0.803748 s : Wilson dslash 4D vectorised Grid : Message : 0.803756 s : ================================================================================== Grid : Message : 0.804692 s : ================================================================================== Grid : Message : 0.804696 s : Benchmark DWF on 8^4 local volume Grid : Message : 0.804701 s : * Nc : 3 Grid : Message : 0.804705 s : * Global volume : 8 8 8 32 Grid : Message : 0.804714 s : * Ls : 1 Grid : Message : 0.804728 s : * ranks : 4 Grid : Message : 0.804742 s : * nodes : 1 Grid : Message : 0.804756 s : * ranks/node : 4 Grid : Message : 0.804771 s : * ranks geom : 1 1 1 4 Grid : Message : 0.804784 s : * Using 1 threads Grid : Message : 0.804797 s : ================================================================================== Grid : Message : 0.810594 s : Initialised RNGs Grid : Message : 0.864430 s : ================================================================================== Grid : Message : 0.864438 s : * Using GENERIC Nc WilsonKernels Grid : Message : 0.864442 s : * Using sequential Comms/Compute Grid : Message : 0.864446 s : * SINGLE precision Grid : Message : 0.864450 s : ================================================================================== Grid : Message : 0.964710 s : Deo FlopsPerSite is 1200 Grid : Message : 0.964753 s : Deo mflop/s = 52581.4 (3724.8) 9488.8-86994.7 Grid : Message : 0.964778 s : Deo mflop/s per rank 13145.3 Grid : Message : 0.964790 s : Deo mflop/s per node 52581.4 Grid : Message : 0.964805 s : ================================================================================== Grid : Message : 0.964808 s : * Using GENERIC Nc WilsonKernels Grid : Message : 0.964811 s : * Using Overlapped Comms/Compute Grid : Message : 0.964815 s : * SINGLE precision Grid : Message : 0.964829 s : ================================================================================== Grid : Message : 1.310630 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.310780 s : Deo mflop/s = 75958.5 (213.6) 33665.8-79922.0 Grid : Message : 1.310860 s : Deo mflop/s per rank 18989.6 Grid : Message : 1.310920 s : Deo mflop/s per node 75958.5 Grid : Message : 1.311030 s : ================================================================================== Grid : Message : 1.311110 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.311140 s : * Using sequential Comms/Compute Grid : Message : 1.311170 s : * SINGLE precision Grid : Message : 1.311240 s : ================================================================================== Grid : Message : 1.134247 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.134254 s : Deo mflop/s = 48257.3 (3987.4) 9939.7-92739.6 Grid : Message : 1.134267 s : Deo mflop/s per rank 12064.3 Grid : Message : 1.134272 s : Deo mflop/s per node 48257.3 Grid : Message : 1.134279 s : ================================================================================== Grid : Message : 1.134289 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.134301 s : * Using Overlapped Comms/Compute Grid : Message : 1.134313 s : * SINGLE precision Grid : Message : 1.134324 s : ================================================================================== Grid : Message : 1.195076 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.195083 s : Deo mflop/s = 82566.8 (192.4) 43690.7-87771.4 Grid : Message : 1.195091 s : Deo mflop/s per rank 20641.7 Grid : Message : 1.195096 s : Deo mflop/s per node 82566.8 Grid : Message : 1.195101 s : ================================================================================== Grid : Message : 1.195109 s : 8^4 x 1 Deo Best mflop/s = 82566.8 ; 82566.8 per node Grid : Message : 1.195128 s : 8^4 x 1 Deo Worst mflop/s = 48257.3 ; 48257.3 per node Grid : Message : 1.195148 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 1.195159 s : 52581.4 ; 75958.5 ; 48257.3 ; 82566.8 ; Grid : Message : 1.195179 s : ================================================================================== Grid : Message : 1.196417 s : ================================================================================== Grid : Message : 1.196421 s : Benchmark DWF on 12^4 local volume Grid : Message : 1.196425 s : * Nc : 3 Grid : Message : 1.196429 s : * Global volume : 12 12 12 48 Grid : Message : 1.196442 s : * Ls : 1 Grid : Message : 1.196455 s : * ranks : 4 Grid : Message : 1.196471 s : * nodes : 1 Grid : Message : 1.196488 s : * ranks/node : 4 Grid : Message : 1.196501 s : * ranks geom : 1 1 1 4 Grid : Message : 1.196505 s : * Using 1 threads Grid : Message : 1.196517 s : ================================================================================== Grid : Message : 1.220500 s : Initialised RNGs Grid : Message : 1.300576 s : ================================================================================== Grid : Message : 1.300584 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.300588 s : * Using sequential Comms/Compute Grid : Message : 1.300592 s : * SINGLE precision Grid : Message : 1.300598 s : ================================================================================== Grid : Message : 1.358500 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.358520 s : Deo mflop/s = 474788.7 (1784.8) 179662.1-502690.9 Grid : Message : 1.358531 s : Deo mflop/s per rank 118697.2 Grid : Message : 1.358542 s : Deo mflop/s per node 474788.7 Grid : Message : 1.358554 s : ================================================================================== Grid : Message : 1.358566 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.358577 s : * Using Overlapped Comms/Compute Grid : Message : 1.358589 s : * SINGLE precision Grid : Message : 1.358602 s : ================================================================================== Grid : Message : 1.416204 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.416211 s : Deo mflop/s = 440878.8 (2102.6) 165336.9-473965.7 Grid : Message : 1.416219 s : Deo mflop/s per rank 110219.7 Grid : Message : 1.416224 s : Deo mflop/s per node 440878.8 Grid : Message : 1.416229 s : ================================================================================== Grid : Message : 1.416239 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.416245 s : * Using sequential Comms/Compute Grid : Message : 1.416254 s : * SINGLE precision Grid : Message : 1.416265 s : ================================================================================== Grid : Message : 1.471020 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.471027 s : Deo mflop/s = 463823.4 (557.6) 414720.0-492736.6 Grid : Message : 1.471035 s : Deo mflop/s per rank 115955.9 Grid : Message : 1.471039 s : Deo mflop/s per node 463823.4 Grid : Message : 1.471044 s : ================================================================================== Grid : Message : 1.471050 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.471059 s : * Using Overlapped Comms/Compute Grid : Message : 1.471072 s : * SINGLE precision Grid : Message : 1.471085 s : ================================================================================== Grid : Message : 1.528690 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.528697 s : Deo mflop/s = 440886.6 (517.6) 394971.4-465106.5 Grid : Message : 1.528705 s : Deo mflop/s per rank 110221.7 Grid : Message : 1.528710 s : Deo mflop/s per node 440886.6 Grid : Message : 1.528715 s : ================================================================================== Grid : Message : 1.528721 s : 12^4 x 1 Deo Best mflop/s = 474788.7 ; 474788.7 per node Grid : Message : 1.528744 s : 12^4 x 1 Deo Worst mflop/s = 440878.8 ; 440878.8 per node Grid : Message : 1.528767 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 1.528781 s : 474788.7 ; 440878.8 ; 463823.4 ; 440886.6 ; Grid : Message : 1.528803 s : ================================================================================== Grid : Message : 1.532754 s : ================================================================================== Grid : Message : 1.532759 s : Benchmark DWF on 16^4 local volume Grid : Message : 1.532763 s : * Nc : 3 Grid : Message : 1.532766 s : * Global volume : 16 16 16 64 Grid : Message : 1.532774 s : * Ls : 1 Grid : Message : 1.532780 s : * ranks : 4 Grid : Message : 1.532786 s : * nodes : 1 Grid : Message : 1.532797 s : * ranks/node : 4 Grid : Message : 1.532800 s : * ranks geom : 1 1 1 4 Grid : Message : 1.532804 s : * Using 1 threads Grid : Message : 1.532818 s : ================================================================================== Grid : Message : 1.611106 s : Initialised RNGs Grid : Message : 1.864629 s : ================================================================================== Grid : Message : 1.864637 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.864641 s : * Using sequential Comms/Compute Grid : Message : 1.864645 s : * SINGLE precision Grid : Message : 1.864651 s : ================================================================================== Grid : Message : 1.937703 s : Deo FlopsPerSite is 1200.0 Grid : Message : 1.937725 s : Deo mflop/s = 1298021.0 (6167.1) 514007.8-1429876.4 Grid : Message : 1.937739 s : Deo mflop/s per rank 324505.3 Grid : Message : 1.937752 s : Deo mflop/s per node 1298021.0 Grid : Message : 1.937765 s : ================================================================================== Grid : Message : 1.937780 s : * Using GENERIC Nc WilsonKernels Grid : Message : 1.937792 s : * Using Overlapped Comms/Compute Grid : Message : 1.937804 s : * SINGLE precision Grid : Message : 1.937816 s : ================================================================================== Grid : Message : 2.336100 s : Deo FlopsPerSite is 1200.0 Grid : Message : 2.336800 s : Deo mflop/s = 1224724.0 (1625.4) 1055613.4-1299887.6 Grid : Message : 2.337600 s : Deo mflop/s per rank 306181.0 Grid : Message : 2.338100 s : Deo mflop/s per node 1224724.0 Grid : Message : 2.338600 s : ================================================================================== Grid : Message : 2.339200 s : * Using GENERIC Nc WilsonKernels Grid : Message : 2.340400 s : * Using sequential Comms/Compute Grid : Message : 2.341500 s : * SINGLE precision Grid : Message : 2.341800 s : ================================================================================== Grid : Message : 2.653600 s : Deo FlopsPerSite is 1200.0 Grid : Message : 2.653670 s : Deo mflop/s = 1295860.8 (3879.9) 567820.9-1367707.8 Grid : Message : 2.653750 s : Deo mflop/s per rank 323965.2 Grid : Message : 2.653800 s : Deo mflop/s per node 1295860.8 Grid : Message : 2.653850 s : ================================================================================== Grid : Message : 2.653900 s : * Using GENERIC Nc WilsonKernels Grid : Message : 2.653990 s : * Using Overlapped Comms/Compute Grid : Message : 2.654020 s : * SINGLE precision Grid : Message : 2.654050 s : ================================================================================== Grid : Message : 2.131006 s : Deo FlopsPerSite is 1200.0 Grid : Message : 2.131013 s : Deo mflop/s = 1223466.5 (1708.2) 1055613.4-1310720.0 Grid : Message : 2.131021 s : Deo mflop/s per rank 305866.6 Grid : Message : 2.131026 s : Deo mflop/s per node 1223466.5 Grid : Message : 2.131031 s : ================================================================================== Grid : Message : 2.131037 s : 16^4 x 1 Deo Best mflop/s = 1298021.0 ; 1298021.0 per node Grid : Message : 2.131054 s : 16^4 x 1 Deo Worst mflop/s = 1223466.5 ; 1223466.5 per node Grid : Message : 2.131060 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 2.131066 s : 1298021.0 ; 1224724.0 ; 1295860.8 ; 1223466.5 ; Grid : Message : 2.131086 s : ================================================================================== Grid : Message : 2.144037 s : ================================================================================== Grid : Message : 2.144043 s : Benchmark DWF on 24^4 local volume Grid : Message : 2.144047 s : * Nc : 3 Grid : Message : 2.144051 s : * Global volume : 24 24 24 96 Grid : Message : 2.144060 s : * Ls : 1 Grid : Message : 2.144070 s : * ranks : 4 Grid : Message : 2.144082 s : * nodes : 1 Grid : Message : 2.144094 s : * ranks/node : 4 Grid : Message : 2.144106 s : * ranks geom : 1 1 1 4 Grid : Message : 2.144120 s : * Using 1 threads Grid : Message : 2.144134 s : ================================================================================== Grid : Message : 2.528733 s : Initialised RNGs Grid : Message : 3.984504 s : ================================================================================== Grid : Message : 3.984530 s : * Using GENERIC Nc WilsonKernels Grid : Message : 3.984533 s : * Using sequential Comms/Compute Grid : Message : 3.984536 s : * SINGLE precision Grid : Message : 3.984539 s : ================================================================================== Grid : Message : 4.170124 s : Deo FlopsPerSite is 1200.0 Grid : Message : 4.170148 s : Deo mflop/s = 2972148.6 (5467.5) 2314716.3-3122597.6 Grid : Message : 4.170156 s : Deo mflop/s per rank 743037.2 Grid : Message : 4.170160 s : Deo mflop/s per node 2972148.6 Grid : Message : 4.170165 s : ================================================================================== Grid : Message : 4.170169 s : * Using GENERIC Nc WilsonKernels Grid : Message : 4.170172 s : * Using Overlapped Comms/Compute Grid : Message : 4.170180 s : * SINGLE precision Grid : Message : 4.170183 s : ================================================================================== Grid : Message : 4.310881 s : Deo FlopsPerSite is 1200.0 Grid : Message : 4.310888 s : Deo mflop/s = 2886954.3 (5774.8) 1838943.2-3062547.7 Grid : Message : 4.310896 s : Deo mflop/s per rank 721738.6 Grid : Message : 4.310900 s : Deo mflop/s per node 2886954.3 Grid : Message : 4.310904 s : ================================================================================== Grid : Message : 4.310908 s : * Using GENERIC Nc WilsonKernels Grid : Message : 4.310912 s : * Using sequential Comms/Compute Grid : Message : 4.310917 s : * SINGLE precision Grid : Message : 4.310921 s : ================================================================================== Grid : Message : 4.443007 s : Deo FlopsPerSite is 1200.0 Grid : Message : 4.443014 s : Deo mflop/s = 3076058.7 (60537.8) 305901.8-3317760.0 Grid : Message : 4.443022 s : Deo mflop/s per rank 769014.7 Grid : Message : 4.443026 s : Deo mflop/s per node 3076058.7 Grid : Message : 4.443030 s : ================================================================================== Grid : Message : 4.443034 s : * Using GENERIC Nc WilsonKernels Grid : Message : 4.443038 s : * Using Overlapped Comms/Compute Grid : Message : 4.443041 s : * SINGLE precision Grid : Message : 4.443044 s : ================================================================================== Grid : Message : 4.574355 s : Deo FlopsPerSite is 1200.0 Grid : Message : 4.574362 s : Deo mflop/s = 3096297.3 (5137.2) 2511868.8-3236839.0 Grid : Message : 4.574370 s : Deo mflop/s per rank 774074.3 Grid : Message : 4.574374 s : Deo mflop/s per node 3096297.3 Grid : Message : 4.574378 s : ================================================================================== Grid : Message : 4.574382 s : 24^4 x 1 Deo Best mflop/s = 3096297.3 ; 3096297.3 per node Grid : Message : 4.574388 s : 24^4 x 1 Deo Worst mflop/s = 2886954.3 ; 2886954.3 per node Grid : Message : 4.574395 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 4.574400 s : 2972148.6 ; 2886954.3 ; 3076058.7 ; 3096297.3 ; Grid : Message : 4.574409 s : ================================================================================== Grid : Message : 4.630562 s : ================================================================================== Grid : Message : 4.630570 s : Benchmark DWF on 32^4 local volume Grid : Message : 4.630575 s : * Nc : 3 Grid : Message : 4.630580 s : * Global volume : 32 32 32 128 Grid : Message : 4.630593 s : * Ls : 1 Grid : Message : 4.630598 s : * ranks : 4 Grid : Message : 4.630603 s : * nodes : 1 Grid : Message : 4.630608 s : * ranks/node : 4 Grid : Message : 4.630613 s : * ranks geom : 1 1 1 4 Grid : Message : 4.630619 s : * Using 1 threads Grid : Message : 4.630625 s : ================================================================================== Grid : Message : 5.835764 s : Initialised RNGs Grid : Message : 10.793591 s : ================================================================================== Grid : Message : 10.793601 s : * Using GENERIC Nc WilsonKernels Grid : Message : 10.793606 s : * Using sequential Comms/Compute Grid : Message : 10.793610 s : * SINGLE precision Grid : Message : 10.793615 s : ================================================================================== Grid : Message : 11.255328 s : Deo FlopsPerSite is 1200.0 Grid : Message : 11.255357 s : Deo mflop/s = 4094933.6 (6520.6) 3695422.0-4518101.3 Grid : Message : 11.255367 s : Deo mflop/s per rank 1023733.4 Grid : Message : 11.255373 s : Deo mflop/s per node 4094933.6 Grid : Message : 11.255383 s : ================================================================================== Grid : Message : 11.255388 s : * Using GENERIC Nc WilsonKernels Grid : Message : 11.255393 s : * Using Overlapped Comms/Compute Grid : Message : 11.255398 s : * SINGLE precision Grid : Message : 11.255404 s : ================================================================================== Grid : Message : 11.557001 s : Deo FlopsPerSite is 1200.0 Grid : Message : 11.557010 s : Deo mflop/s = 4296224.8 (40522.5) 784470.8-4477904.6 Grid : Message : 11.557024 s : Deo mflop/s per rank 1074056.2 Grid : Message : 11.557031 s : Deo mflop/s per node 4296224.8 Grid : Message : 11.557039 s : ================================================================================== Grid : Message : 11.557044 s : * Using GENERIC Nc WilsonKernels Grid : Message : 11.557049 s : * Using sequential Comms/Compute Grid : Message : 11.557054 s : * SINGLE precision Grid : Message : 11.557060 s : ================================================================================== Grid : Message : 11.846077 s : Deo FlopsPerSite is 1200.0 Grid : Message : 11.846089 s : Deo mflop/s = 4441189.7 (3967.8) 3981934.2-4559026.1 Grid : Message : 11.846103 s : Deo mflop/s per rank 1110297.4 Grid : Message : 11.846110 s : Deo mflop/s per node 4441189.7 Grid : Message : 11.846117 s : ================================================================================== Grid : Message : 11.846122 s : * Using GENERIC Nc WilsonKernels Grid : Message : 11.846127 s : * Using Overlapped Comms/Compute Grid : Message : 11.846132 s : * SINGLE precision Grid : Message : 11.846142 s : ================================================================================== Grid : Message : 12.140325 s : Deo FlopsPerSite is 1200.0 Grid : Message : 12.140337 s : Deo mflop/s = 4363869.4 (4422.6) 3475942.5-4485886.6 Grid : Message : 12.140350 s : Deo mflop/s per rank 1090967.4 Grid : Message : 12.140357 s : Deo mflop/s per node 4363869.4 Grid : Message : 12.140364 s : ================================================================================== Grid : Message : 12.140369 s : 32^4 x 1 Deo Best mflop/s = 4441189.7 ; 4441189.7 per node Grid : Message : 12.140382 s : 32^4 x 1 Deo Worst mflop/s = 4094933.6 ; 4094933.6 per node Grid : Message : 12.140393 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 12.140398 s : 4094933.6 ; 4296224.8 ; 4441189.7 ; 4363869.4 ; Grid : Message : 12.140411 s : ================================================================================== Grid : Message : 12.288271 s : ================================================================================== Grid : Message : 12.288281 s : Domain wall dslash 4D vectorised Grid : Message : 12.288285 s : ================================================================================== Grid : Message : 12.310814 s : ================================================================================== Grid : Message : 12.310820 s : Benchmark DWF on 8^4 local volume Grid : Message : 12.310826 s : * Nc : 3 Grid : Message : 12.310831 s : * Global volume : 8 8 8 32 Grid : Message : 12.310844 s : * Ls : 12 Grid : Message : 12.310850 s : * ranks : 4 Grid : Message : 12.310857 s : * nodes : 1 Grid : Message : 12.310863 s : * ranks/node : 4 Grid : Message : 12.310869 s : * ranks geom : 1 1 1 4 Grid : Message : 12.310877 s : * Using 1 threads Grid : Message : 12.310883 s : ================================================================================== Grid : Message : 12.343348 s : Initialised RNGs Grid : Message : 12.423090 s : ================================================================================== Grid : Message : 12.423099 s : * Using GENERIC Nc WilsonKernels Grid : Message : 12.423104 s : * Using sequential Comms/Compute Grid : Message : 12.423108 s : * SINGLE precision Grid : Message : 12.423112 s : ================================================================================== Grid : Message : 12.480339 s : Deo FlopsPerSite is 1200.0 Grid : Message : 12.480379 s : Deo mflop/s = 1116710.2 (1814.7) 893672.7-1191563.6 Grid : Message : 12.480393 s : Deo mflop/s per rank 279177.6 Grid : Message : 12.480399 s : Deo mflop/s per node 1116710.2 Grid : Message : 12.480406 s : ================================================================================== Grid : Message : 12.480411 s : * Using GENERIC Nc WilsonKernels Grid : Message : 12.480416 s : * Using Overlapped Comms/Compute Grid : Message : 12.480421 s : * SINGLE precision Grid : Message : 12.480426 s : ================================================================================== Grid : Message : 12.538454 s : Deo FlopsPerSite is 1200.0 Grid : Message : 12.538465 s : Deo mflop/s = 1037965.7 (5139.8) 385505.9-1112875.5 Grid : Message : 12.538478 s : Deo mflop/s per rank 259491.4 Grid : Message : 12.538484 s : Deo mflop/s per node 1037965.7 Grid : Message : 12.538491 s : ================================================================================== Grid : Message : 12.538496 s : * Using GENERIC Nc WilsonKernels Grid : Message : 12.538501 s : * Using sequential Comms/Compute Grid : Message : 12.538507 s : * SINGLE precision Grid : Message : 12.538512 s : ================================================================================== Grid : Message : 12.593976 s : Deo FlopsPerSite is 1200.0 Grid : Message : 12.593985 s : Deo mflop/s = 1085372.5 (1699.7) 914455.8-1156517.6 Grid : Message : 12.594026 s : Deo mflop/s per rank 271343.1 Grid : Message : 12.594033 s : Deo mflop/s per node 1085372.5 Grid : Message : 12.594041 s : ================================================================================== Grid : Message : 12.594046 s : * Using GENERIC Nc WilsonKernels Grid : Message : 12.594051 s : * Using Overlapped Comms/Compute Grid : Message : 12.594056 s : * SINGLE precision Grid : Message : 12.594061 s : ================================================================================== Grid : Message : 12.652747 s : Deo FlopsPerSite is 1200.0 Grid : Message : 12.652758 s : Deo mflop/s = 1025870.1 (3319.6) 436906.7-1102474.8 Grid : Message : 12.652771 s : Deo mflop/s per rank 256467.5 Grid : Message : 12.652778 s : Deo mflop/s per node 1025870.1 Grid : Message : 12.652785 s : ================================================================================== Grid : Message : 12.652790 s : 8^4 x 12 Deo Best mflop/s = 1116710.2 ; 1116710.2 per node Grid : Message : 12.652801 s : 8^4 x 12 Deo Worst mflop/s = 1025870.1 ; 1025870.1 per node Grid : Message : 12.652811 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 12.652816 s : 1116710.2 ; 1037965.7 ; 1085372.5 ; 1025870.1 ; Grid : Message : 12.652829 s : ================================================================================== Grid : Message : 12.661140 s : ================================================================================== Grid : Message : 12.661147 s : Benchmark DWF on 12^4 local volume Grid : Message : 12.661152 s : * Nc : 3 Grid : Message : 12.661158 s : * Global volume : 12 12 12 48 Grid : Message : 12.661169 s : * Ls : 12 Grid : Message : 12.661174 s : * ranks : 4 Grid : Message : 12.661180 s : * nodes : 1 Grid : Message : 12.661185 s : * ranks/node : 4 Grid : Message : 12.661190 s : * ranks geom : 1 1 1 4 Grid : Message : 12.661197 s : * Using 1 threads Grid : Message : 12.661203 s : ================================================================================== Grid : Message : 12.820763 s : Initialised RNGs Grid : Message : 12.997140 s : ================================================================================== Grid : Message : 12.997150 s : * Using GENERIC Nc WilsonKernels Grid : Message : 12.997155 s : * Using sequential Comms/Compute Grid : Message : 12.997159 s : * SINGLE precision Grid : Message : 12.997163 s : ================================================================================== Grid : Message : 13.102463 s : Deo FlopsPerSite is 1200.0 Grid : Message : 13.102489 s : Deo mflop/s = 3205462.0 (11985.4) 1287062.1-3452004.6 Grid : Message : 13.102502 s : Deo mflop/s per rank 801365.5 Grid : Message : 13.102510 s : Deo mflop/s per node 3205462.0 Grid : Message : 13.102517 s : ================================================================================== Grid : Message : 13.102522 s : * Using GENERIC Nc WilsonKernels Grid : Message : 13.102527 s : * Using Overlapped Comms/Compute Grid : Message : 13.102532 s : * SINGLE precision Grid : Message : 13.102537 s : ================================================================================== Grid : Message : 13.202915 s : Deo FlopsPerSite is 1200.0 Grid : Message : 13.202956 s : Deo mflop/s = 3035215.2 (8041.7) 1696581.8-3210735.5 Grid : Message : 13.202969 s : Deo mflop/s per rank 758803.8 Grid : Message : 13.202976 s : Deo mflop/s per node 3035215.2 Grid : Message : 13.202984 s : ================================================================================== Grid : Message : 13.202989 s : * Using GENERIC Nc WilsonKernels Grid : Message : 13.202994 s : * Using sequential Comms/Compute Grid : Message : 13.202999 s : * SINGLE precision Grid : Message : 13.203004 s : ================================================================================== Grid : Message : 13.303439 s : Deo FlopsPerSite is 1200.0 Grid : Message : 13.303450 s : Deo mflop/s = 3032225.4 (166312.8) 117999.8-3355038.2 Grid : Message : 13.303464 s : Deo mflop/s per rank 758056.4 Grid : Message : 13.303471 s : Deo mflop/s per node 3032225.4 Grid : Message : 13.303477 s : ================================================================================== Grid : Message : 13.303482 s : * Using GENERIC Nc WilsonKernels Grid : Message : 13.303487 s : * Using Overlapped Comms/Compute Grid : Message : 13.303492 s : * SINGLE precision Grid : Message : 13.303497 s : ================================================================================== Grid : Message : 13.404124 s : Deo FlopsPerSite is 1200.0 Grid : Message : 13.404133 s : Deo mflop/s = 3027214.7 (7632.2) 1701415.4-3193565.8 Grid : Message : 13.404146 s : Deo mflop/s per rank 756803.7 Grid : Message : 13.404154 s : Deo mflop/s per node 3027214.7 Grid : Message : 13.404162 s : ================================================================================== Grid : Message : 13.404167 s : 12^4 x 12 Deo Best mflop/s = 3205462.0 ; 3205462.0 per node Grid : Message : 13.404179 s : 12^4 x 12 Deo Worst mflop/s = 3027214.7 ; 3027214.7 per node Grid : Message : 13.404189 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 13.404194 s : 3205462.0 ; 3035215.2 ; 3032225.4 ; 3027214.7 ; Grid : Message : 13.404209 s : ================================================================================== Grid : Message : 13.418371 s : ================================================================================== Grid : Message : 13.418378 s : Benchmark DWF on 16^4 local volume Grid : Message : 13.418383 s : * Nc : 3 Grid : Message : 13.418388 s : * Global volume : 16 16 16 64 Grid : Message : 13.418403 s : * Ls : 12 Grid : Message : 13.418408 s : * ranks : 4 Grid : Message : 13.418413 s : * nodes : 1 Grid : Message : 13.418418 s : * ranks/node : 4 Grid : Message : 13.418423 s : * ranks geom : 1 1 1 4 Grid : Message : 13.418431 s : * Using 1 threads Grid : Message : 13.418437 s : ================================================================================== Grid : Message : 13.930152 s : Initialised RNGs Grid : Message : 14.535561 s : ================================================================================== Grid : Message : 14.535571 s : * Using GENERIC Nc WilsonKernels Grid : Message : 14.535576 s : * Using sequential Comms/Compute Grid : Message : 14.535580 s : * SINGLE precision Grid : Message : 14.535584 s : ================================================================================== Grid : Message : 14.744179 s : Deo FlopsPerSite is 1200.0 Grid : Message : 14.744205 s : Deo mflop/s = 5326566.3 (7090.5) 4537107.7-5535005.3 Grid : Message : 14.744216 s : Deo mflop/s per rank 1331641.6 Grid : Message : 14.744226 s : Deo mflop/s per node 5326566.3 Grid : Message : 14.744234 s : ================================================================================== Grid : Message : 14.744239 s : * Using GENERIC Nc WilsonKernels Grid : Message : 14.744244 s : * Using Overlapped Comms/Compute Grid : Message : 14.744249 s : * SINGLE precision Grid : Message : 14.744254 s : ================================================================================== Grid : Message : 14.940687 s : Deo FlopsPerSite is 1200.0 Grid : Message : 14.940696 s : Deo mflop/s = 4898209.3 (156534.8) 306750.7-5213913.8 Grid : Message : 14.940710 s : Deo mflop/s per rank 1224552.3 Grid : Message : 14.940718 s : Deo mflop/s per node 4898209.3 Grid : Message : 14.940726 s : ================================================================================== Grid : Message : 14.940731 s : * Using GENERIC Nc WilsonKernels Grid : Message : 14.940736 s : * Using sequential Comms/Compute Grid : Message : 14.940742 s : * SINGLE precision Grid : Message : 14.940747 s : ================================================================================== Grid : Message : 15.121342 s : Deo FlopsPerSite is 1200.0 Grid : Message : 15.121353 s : Deo mflop/s = 5330748.5 (8032.1) 3836253.7-5518821.1 Grid : Message : 15.121367 s : Deo mflop/s per rank 1332687.1 Grid : Message : 15.121373 s : Deo mflop/s per node 5330748.5 Grid : Message : 15.121380 s : ================================================================================== Grid : Message : 15.121385 s : * Using GENERIC Nc WilsonKernels Grid : Message : 15.121390 s : * Using Overlapped Comms/Compute Grid : Message : 15.121395 s : * SINGLE precision Grid : Message : 15.121400 s : ================================================================================== Grid : Message : 15.311943 s : Deo FlopsPerSite is 1200.0 Grid : Message : 15.311954 s : Deo mflop/s = 5053188.9 (6876.3) 3622719.4-5242880.0 Grid : Message : 15.311966 s : Deo mflop/s per rank 1263297.2 Grid : Message : 15.311973 s : Deo mflop/s per node 5053188.9 Grid : Message : 15.311981 s : ================================================================================== Grid : Message : 15.311987 s : 16^4 x 12 Deo Best mflop/s = 5330748.5 ; 5330748.5 per node Grid : Message : 15.311999 s : 16^4 x 12 Deo Worst mflop/s = 4898209.3 ; 4898209.3 per node Grid : Message : 15.312010 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 15.312015 s : 5326566.3 ; 4898209.3 ; 5330748.5 ; 5053188.9 ; Grid : Message : 15.312028 s : ================================================================================== Grid : Message : 15.351720 s : ================================================================================== Grid : Message : 15.351728 s : Benchmark DWF on 24^4 local volume Grid : Message : 15.351734 s : * Nc : 3 Grid : Message : 15.351738 s : * Global volume : 24 24 24 96 Grid : Message : 15.351750 s : * Ls : 12 Grid : Message : 15.351755 s : * ranks : 4 Grid : Message : 15.351761 s : * nodes : 1 Grid : Message : 15.351765 s : * ranks/node : 4 Grid : Message : 15.351769 s : * ranks geom : 1 1 1 4 Grid : Message : 15.351774 s : * Using 1 threads Grid : Message : 15.351780 s : ================================================================================== Grid : Message : 17.991990 s : Initialised RNGs Grid : Message : 21.139740 s : ================================================================================== Grid : Message : 21.139749 s : * Using GENERIC Nc WilsonKernels Grid : Message : 21.139754 s : * Using sequential Comms/Compute Grid : Message : 21.139758 s : * SINGLE precision Grid : Message : 21.139762 s : ================================================================================== Grid : Message : 21.976908 s : Deo FlopsPerSite is 1200.0 Grid : Message : 21.976936 s : Deo mflop/s = 6833091.2 (50868.6) 1979931.4-7327568.1 Grid : Message : 21.976947 s : Deo mflop/s per rank 1708272.8 Grid : Message : 21.976953 s : Deo mflop/s per node 6833091.2 Grid : Message : 21.976960 s : ================================================================================== Grid : Message : 21.976966 s : * Using GENERIC Nc WilsonKernels Grid : Message : 21.976971 s : * Using Overlapped Comms/Compute Grid : Message : 21.976976 s : * SINGLE precision Grid : Message : 21.976981 s : ================================================================================== Grid : Message : 22.704805 s : Deo FlopsPerSite is 1200.0 Grid : Message : 22.704815 s : Deo mflop/s = 6695322.2 (29663.9) 2154001.1-6899024.4 Grid : Message : 22.704829 s : Deo mflop/s per rank 1673830.6 Grid : Message : 22.704837 s : Deo mflop/s per node 6695322.2 Grid : Message : 22.704845 s : ================================================================================== Grid : Message : 22.704850 s : * Using GENERIC Nc WilsonKernels Grid : Message : 22.704855 s : * Using sequential Comms/Compute Grid : Message : 22.704860 s : * SINGLE precision Grid : Message : 22.704865 s : ================================================================================== Grid : Message : 23.393773 s : Deo FlopsPerSite is 1200.0 Grid : Message : 23.393782 s : Deo mflop/s = 7073308.7 (32748.5) 2208772.3-7288443.0 Grid : Message : 23.393794 s : Deo mflop/s per rank 1768327.2 Grid : Message : 23.393802 s : Deo mflop/s per node 7073308.7 Grid : Message : 23.393810 s : ================================================================================== Grid : Message : 23.393815 s : * Using GENERIC Nc WilsonKernels Grid : Message : 23.393820 s : * Using Overlapped Comms/Compute Grid : Message : 23.393825 s : * SINGLE precision Grid : Message : 23.393830 s : ================================================================================== Grid : Message : 24.119039 s : Deo FlopsPerSite is 1200.0 Grid : Message : 24.119049 s : Deo mflop/s = 6720440.2 (5702.8) 6172576.7-6899024.4 Grid : Message : 24.119063 s : Deo mflop/s per rank 1680110.1 Grid : Message : 24.119071 s : Deo mflop/s per node 6720440.2 Grid : Message : 24.119079 s : ================================================================================== Grid : Message : 24.119085 s : 24^4 x 12 Deo Best mflop/s = 7073308.7 ; 7073308.7 per node Grid : Message : 24.119097 s : 24^4 x 12 Deo Worst mflop/s = 6695322.2 ; 6695322.2 per node Grid : Message : 24.119107 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 24.119112 s : 6833091.2 ; 6695322.2 ; 7073308.7 ; 6720440.2 ; Grid : Message : 24.119127 s : ================================================================================== Grid : Message : 24.313635 s : ================================================================================== Grid : Message : 24.313643 s : Benchmark DWF on 32^4 local volume Grid : Message : 24.313648 s : * Nc : 3 Grid : Message : 24.313652 s : * Global volume : 32 32 32 128 Grid : Message : 24.313663 s : * Ls : 12 Grid : Message : 24.313669 s : * ranks : 4 Grid : Message : 24.313676 s : * nodes : 1 Grid : Message : 24.313681 s : * ranks/node : 4 Grid : Message : 24.313686 s : * ranks geom : 1 1 1 4 Grid : Message : 24.313691 s : * Using 1 threads Grid : Message : 24.313696 s : ================================================================================== Grid : Message : 32.682351 s : Initialised RNGs Grid : Message : 42.965525 s : ================================================================================== Grid : Message : 42.965535 s : * Using GENERIC Nc WilsonKernels Grid : Message : 42.965540 s : * Using sequential Comms/Compute Grid : Message : 42.965544 s : * SINGLE precision Grid : Message : 42.965548 s : ================================================================================== Grid : Message : 45.270637 s : Deo FlopsPerSite is 1200.0 Grid : Message : 45.270665 s : Deo mflop/s = 8062773.4 (31799.9) 3356562.1-8212942.3 Grid : Message : 45.270675 s : Deo mflop/s per rank 2015693.4 Grid : Message : 45.270681 s : Deo mflop/s per node 8062773.4 Grid : Message : 45.270687 s : ================================================================================== Grid : Message : 45.270692 s : * Using GENERIC Nc WilsonKernels Grid : Message : 45.270699 s : * Using Overlapped Comms/Compute Grid : Message : 45.270706 s : * SINGLE precision Grid : Message : 45.270711 s : ================================================================================== Grid : Message : 47.288664 s : Deo FlopsPerSite is 1200.0 Grid : Message : 47.288674 s : Deo mflop/s = 7632240.3 (4023.9) 6357681.9-7723526.5 Grid : Message : 47.288688 s : Deo mflop/s per rank 1908060.1 Grid : Message : 47.288696 s : Deo mflop/s per node 7632240.3 Grid : Message : 47.288705 s : ================================================================================== Grid : Message : 47.288711 s : * Using GENERIC Nc WilsonKernels Grid : Message : 47.288716 s : * Using sequential Comms/Compute Grid : Message : 47.288723 s : * SINGLE precision Grid : Message : 47.288729 s : ================================================================================== Grid : Message : 49.183635 s : Deo FlopsPerSite is 1200.0 Grid : Message : 49.183645 s : Deo mflop/s = 8127887.9 (2334.8) 8023110.7-8219648.6 Grid : Message : 49.183657 s : Deo mflop/s per rank 2031972.0 Grid : Message : 49.183665 s : Deo mflop/s per node 8127887.9 Grid : Message : 49.183673 s : ================================================================================== Grid : Message : 49.183678 s : * Using GENERIC Nc WilsonKernels Grid : Message : 49.183683 s : * Using Overlapped Comms/Compute Grid : Message : 49.183688 s : * SINGLE precision Grid : Message : 49.183693 s : ================================================================================== Grid : Message : 51.200110 s : Deo FlopsPerSite is 1200.0 Grid : Message : 51.200123 s : Deo mflop/s = 7638309.6 (2325.2) 7487971.4-7771227.2 Grid : Message : 51.200135 s : Deo mflop/s per rank 1909577.4 Grid : Message : 51.200142 s : Deo mflop/s per node 7638309.6 Grid : Message : 51.200149 s : ================================================================================== Grid : Message : 51.200154 s : 32^4 x 12 Deo Best mflop/s = 8127887.9 ; 8127887.9 per node Grid : Message : 51.200165 s : 32^4 x 12 Deo Worst mflop/s = 7632240.3 ; 7632240.3 per node Grid : Message : 51.200176 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 51.200181 s : 8062773.4 ; 7632240.3 ; 8127887.9 ; 7638309.6 ; Grid : Message : 51.200194 s : ================================================================================== Grid : Message : 51.776305 s : ================================================================================== Grid : Message : 51.776314 s : Improved Staggered dslash 4D vectorised Grid : Message : 51.776318 s : ================================================================================== Grid : Message : 51.799881 s : ================================================================================== Grid : Message : 51.799887 s : Benchmark ImprovedStaggered on 8^4 local volume Grid : Message : 51.799894 s : * Global volume : 8 8 8 32 Grid : Message : 51.799907 s : * ranks : 4 Grid : Message : 51.799916 s : * nodes : 1 Grid : Message : 51.799922 s : * ranks/node : 4 Grid : Message : 51.799927 s : * ranks geom : 1 1 1 4 Grid : Message : 51.799935 s : * Using 1 threads Grid : Message : 51.799941 s : ================================================================================== Grid : Message : 51.802451 s : Initialised RNGs Grid : Message : 51.977416 s : ================================================================================== Grid : Message : 51.977426 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 51.977430 s : * Using sequential Comms/Compute Grid : Message : 51.977435 s : * SINGLE precision Grid : Message : 51.977440 s : ================================================================================== Grid : Message : 52.188994 s : Deo mflop/s = 23953.9 (1413.0) 6148.0-43262.8 Grid : Message : 52.189029 s : Deo mflop/s per rank 5988.5 Grid : Message : 52.189035 s : Deo mflop/s per node 23953.9 Grid : Message : 52.189041 s : ================================================================================== Grid : Message : 52.189046 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 52.189052 s : * Using Overlapped Comms/Compute Grid : Message : 52.189057 s : * SINGLE precision Grid : Message : 52.189062 s : ================================================================================== Grid : Message : 52.446789 s : Deo mflop/s = 18533.9 (895.0) 6461.1-34262.9 Grid : Message : 52.446807 s : Deo mflop/s per rank 4633.5 Grid : Message : 52.446813 s : Deo mflop/s per node 18533.9 Grid : Message : 52.446820 s : ================================================================================== Grid : Message : 52.446825 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 52.446830 s : * Using sequential Comms/Compute Grid : Message : 52.446835 s : * SINGLE precision Grid : Message : 52.446840 s : ================================================================================== Grid : Message : 52.688401 s : Deo mflop/s = 19883.8 (1188.2) 7701.4-42672.9 Grid : Message : 52.688419 s : Deo mflop/s per rank 4971.0 Grid : Message : 52.688426 s : Deo mflop/s per node 19883.8 Grid : Message : 52.688434 s : ================================================================================== Grid : Message : 52.688439 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 52.688444 s : * Using Overlapped Comms/Compute Grid : Message : 52.688449 s : * SINGLE precision Grid : Message : 52.688454 s : ================================================================================== Grid : Message : 52.991289 s : Deo mflop/s = 15908.7 (713.4) 7363.2-32484.5 Grid : Message : 52.991307 s : Deo mflop/s per rank 3977.2 Grid : Message : 52.991313 s : Deo mflop/s per node 15908.7 Grid : Message : 52.991320 s : ================================================================================== Grid : Message : 52.991325 s : 8^4 Deo Best mflop/s = 23953.9 ; 23953.9 per node Grid : Message : 52.991335 s : 8^4 Deo Worst mflop/s = 15908.7 ; 15908.7 per node Grid : Message : 52.991345 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 52.991350 s : 23953.9 ; 18533.9 ; 19883.8 ; 15908.7 ; Grid : Message : 52.991362 s : ================================================================================== Grid : Message : 52.992247 s : ================================================================================== Grid : Message : 52.992253 s : Benchmark ImprovedStaggered on 12^4 local volume Grid : Message : 52.992259 s : * Global volume : 12 12 12 48 Grid : Message : 52.992269 s : * ranks : 4 Grid : Message : 52.992274 s : * nodes : 1 Grid : Message : 52.992279 s : * ranks/node : 4 Grid : Message : 52.992284 s : * ranks geom : 1 1 1 4 Grid : Message : 52.992292 s : * Using 1 threads Grid : Message : 52.992298 s : ================================================================================== Grid : Message : 53.294400 s : Initialised RNGs Grid : Message : 53.146836 s : ================================================================================== Grid : Message : 53.146846 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 53.146851 s : * Using sequential Comms/Compute Grid : Message : 53.146855 s : * SINGLE precision Grid : Message : 53.146859 s : ================================================================================== Grid : Message : 53.277409 s : Deo mflop/s = 195791.9 (535.4) 107042.6-209369.7 Grid : Message : 53.277441 s : Deo mflop/s per rank 48948.0 Grid : Message : 53.277447 s : Deo mflop/s per node 195791.9 Grid : Message : 53.277454 s : ================================================================================== Grid : Message : 53.277459 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 53.277464 s : * Using Overlapped Comms/Compute Grid : Message : 53.277469 s : * SINGLE precision Grid : Message : 53.277474 s : ================================================================================== Grid : Message : 53.433795 s : Deo mflop/s = 155121.0 (224.8) 103770.6-162763.4 Grid : Message : 53.433812 s : Deo mflop/s per rank 38780.3 Grid : Message : 53.433818 s : Deo mflop/s per node 155121.0 Grid : Message : 53.433826 s : ================================================================================== Grid : Message : 53.433831 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 53.433836 s : * Using sequential Comms/Compute Grid : Message : 53.433841 s : * SINGLE precision Grid : Message : 53.433846 s : ================================================================================== Grid : Message : 53.558377 s : Deo mflop/s = 194672.3 (259.7) 150401.6-208451.4 Grid : Message : 53.558395 s : Deo mflop/s per rank 48668.1 Grid : Message : 53.558401 s : Deo mflop/s per node 194672.3 Grid : Message : 53.558409 s : ================================================================================== Grid : Message : 53.558414 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 53.558419 s : * Using Overlapped Comms/Compute Grid : Message : 53.558424 s : * SINGLE precision Grid : Message : 53.558429 s : ================================================================================== Grid : Message : 53.714713 s : Deo mflop/s = 155119.0 (164.8) 124091.2-162763.4 Grid : Message : 53.714776 s : Deo mflop/s per rank 38779.8 Grid : Message : 53.714782 s : Deo mflop/s per node 155119.0 Grid : Message : 53.714789 s : ================================================================================== Grid : Message : 53.714794 s : 12^4 Deo Best mflop/s = 195791.9 ; 195791.9 per node Grid : Message : 53.714804 s : 12^4 Deo Worst mflop/s = 155119.0 ; 155119.0 per node Grid : Message : 53.714815 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 53.714820 s : 195791.9 ; 155121.0 ; 194672.3 ; 155119.0 ; Grid : Message : 53.714834 s : ================================================================================== Grid : Message : 53.726715 s : ================================================================================== Grid : Message : 53.726721 s : Benchmark ImprovedStaggered on 16^4 local volume Grid : Message : 53.726726 s : * Global volume : 16 16 16 64 Grid : Message : 53.726972 s : * ranks : 4 Grid : Message : 53.726978 s : * nodes : 1 Grid : Message : 53.726982 s : * ranks/node : 4 Grid : Message : 53.726986 s : * ranks geom : 1 1 1 4 Grid : Message : 53.726992 s : * Using 1 threads Grid : Message : 53.726998 s : ================================================================================== Grid : Message : 53.760289 s : Initialised RNGs Grid : Message : 54.174641 s : ================================================================================== Grid : Message : 54.174651 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 54.174656 s : * Using sequential Comms/Compute Grid : Message : 54.174660 s : * SINGLE precision Grid : Message : 54.174665 s : ================================================================================== Grid : Message : 54.415466 s : Deo mflop/s = 362708.6 (8222.1) 125487.5-444403.9 Grid : Message : 54.415520 s : Deo mflop/s per rank 90677.1 Grid : Message : 54.415525 s : Deo mflop/s per node 362708.6 Grid : Message : 54.415531 s : ================================================================================== Grid : Message : 54.415536 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 54.415542 s : * Using Overlapped Comms/Compute Grid : Message : 54.415547 s : * SINGLE precision Grid : Message : 54.415552 s : ================================================================================== Grid : Message : 54.676826 s : Deo mflop/s = 292656.9 (7938.4) 27118.3-338307.5 Grid : Message : 54.676843 s : Deo mflop/s per rank 73164.2 Grid : Message : 54.676849 s : Deo mflop/s per node 292656.9 Grid : Message : 54.676856 s : ================================================================================== Grid : Message : 54.676861 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 54.676866 s : * Using sequential Comms/Compute Grid : Message : 54.676871 s : * SINGLE precision Grid : Message : 54.676876 s : ================================================================================== Grid : Message : 54.880938 s : Deo mflop/s = 374599.8 (7689.4) 124241.9-445722.6 Grid : Message : 54.880957 s : Deo mflop/s per rank 93649.9 Grid : Message : 54.880963 s : Deo mflop/s per node 374599.8 Grid : Message : 54.880970 s : ================================================================================== Grid : Message : 54.880975 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 54.880980 s : * Using Overlapped Comms/Compute Grid : Message : 54.880985 s : * SINGLE precision Grid : Message : 54.880990 s : ================================================================================== Grid : Message : 55.165628 s : Deo mflop/s = 268228.5 (5746.4) 111348.0-338307.5 Grid : Message : 55.165646 s : Deo mflop/s per rank 67057.1 Grid : Message : 55.165653 s : Deo mflop/s per node 268228.5 Grid : Message : 55.165660 s : ================================================================================== Grid : Message : 55.165665 s : 16^4 Deo Best mflop/s = 374599.8 ; 374599.8 per node Grid : Message : 55.165675 s : 16^4 Deo Worst mflop/s = 268228.5 ; 268228.5 per node Grid : Message : 55.165686 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 55.165691 s : 362708.6 ; 292656.9 ; 374599.8 ; 268228.5 ; Grid : Message : 55.165703 s : ================================================================================== Grid : Message : 55.177541 s : ================================================================================== Grid : Message : 55.177548 s : Benchmark ImprovedStaggered on 24^4 local volume Grid : Message : 55.177554 s : * Global volume : 24 24 24 96 Grid : Message : 55.177568 s : * ranks : 4 Grid : Message : 55.177574 s : * nodes : 1 Grid : Message : 55.177578 s : * ranks/node : 4 Grid : Message : 55.177582 s : * ranks geom : 1 1 1 4 Grid : Message : 55.177588 s : * Using 1 threads Grid : Message : 55.177594 s : ================================================================================== Grid : Message : 55.344669 s : Initialised RNGs Grid : Message : 57.668042 s : ================================================================================== Grid : Message : 57.668052 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 57.668056 s : * Using sequential Comms/Compute Grid : Message : 57.668061 s : * SINGLE precision Grid : Message : 57.668066 s : ================================================================================== Grid : Message : 58.357638 s : Deo mflop/s = 661514.4 (6342.4) 136645.2-735426.1 Grid : Message : 58.357673 s : Deo mflop/s per rank 165378.6 Grid : Message : 58.357678 s : Deo mflop/s per node 661514.4 Grid : Message : 58.357684 s : ================================================================================== Grid : Message : 58.357689 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 58.357694 s : * Using Overlapped Comms/Compute Grid : Message : 58.357699 s : * SINGLE precision Grid : Message : 58.357705 s : ================================================================================== Grid : Message : 59.774670 s : Deo mflop/s = 538841.7 (277.7) 480373.1-558729.3 Grid : Message : 59.774850 s : Deo mflop/s per rank 134710.4 Grid : Message : 59.774910 s : Deo mflop/s per node 538841.7 Grid : Message : 59.774990 s : ================================================================================== Grid : Message : 59.775040 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 59.775090 s : * Using sequential Comms/Compute Grid : Message : 59.775140 s : * SINGLE precision Grid : Message : 59.775190 s : ================================================================================== Grid : Message : 59.626351 s : Deo mflop/s = 706507.1 (7604.1) 114938.1-735426.1 Grid : Message : 59.626369 s : Deo mflop/s per rank 176626.8 Grid : Message : 59.626375 s : Deo mflop/s per node 706507.1 Grid : Message : 59.626383 s : ================================================================================== Grid : Message : 59.626388 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 59.626393 s : * Using Overlapped Comms/Compute Grid : Message : 59.626398 s : * SINGLE precision Grid : Message : 59.626403 s : ================================================================================== Grid : Message : 60.346166 s : Deo mflop/s = 538827.9 (264.5) 484042.4-558729.3 Grid : Message : 60.346185 s : Deo mflop/s per rank 134707.0 Grid : Message : 60.346191 s : Deo mflop/s per node 538827.9 Grid : Message : 60.346199 s : ================================================================================== Grid : Message : 60.346204 s : 24^4 Deo Best mflop/s = 706507.1 ; 706507.1 per node Grid : Message : 60.346214 s : 24^4 Deo Worst mflop/s = 538827.9 ; 538827.9 per node Grid : Message : 60.346224 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 60.346229 s : 661514.4 ; 538841.7 ; 706507.1 ; 538827.9 ; Grid : Message : 60.346242 s : ================================================================================== Grid : Message : 60.370673 s : ================================================================================== Grid : Message : 60.370680 s : Benchmark ImprovedStaggered on 32^4 local volume Grid : Message : 60.370686 s : * Global volume : 32 32 32 128 Grid : Message : 60.370697 s : * ranks : 4 Grid : Message : 60.370703 s : * nodes : 1 Grid : Message : 60.370707 s : * ranks/node : 4 Grid : Message : 60.370712 s : * ranks geom : 1 1 1 4 Grid : Message : 60.370717 s : * Using 1 threads Grid : Message : 60.370723 s : ================================================================================== Grid : Message : 60.902726 s : Initialised RNGs Grid : Message : 68.127960 s : ================================================================================== Grid : Message : 68.127970 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 68.127975 s : * Using sequential Comms/Compute Grid : Message : 68.127979 s : * SINGLE precision Grid : Message : 68.127983 s : ================================================================================== Grid : Message : 69.973702 s : Deo mflop/s = 810138.6 (1973.4) 389015.2-823060.3 Grid : Message : 69.973738 s : Deo mflop/s per rank 202534.7 Grid : Message : 69.973743 s : Deo mflop/s per node 810138.6 Grid : Message : 69.973748 s : ================================================================================== Grid : Message : 69.973754 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 69.973759 s : * Using Overlapped Comms/Compute Grid : Message : 69.973764 s : * SINGLE precision Grid : Message : 69.973769 s : ================================================================================== Grid : Message : 71.957352 s : Deo mflop/s = 617940.8 (133.2) 595327.3-623271.8 Grid : Message : 71.957370 s : Deo mflop/s per rank 154485.2 Grid : Message : 71.957376 s : Deo mflop/s per node 617940.8 Grid : Message : 71.957383 s : ================================================================================== Grid : Message : 71.957388 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 71.957393 s : * Using sequential Comms/Compute Grid : Message : 71.957398 s : * SINGLE precision Grid : Message : 71.957403 s : ================================================================================== Grid : Message : 73.466316 s : Deo mflop/s = 812331.4 (225.5) 764906.5-823060.3 Grid : Message : 73.466334 s : Deo mflop/s per rank 203082.9 Grid : Message : 73.466340 s : Deo mflop/s per node 812331.4 Grid : Message : 73.466348 s : ================================================================================== Grid : Message : 73.466353 s : * Using GENERIC Nc StaggeredKernels Grid : Message : 73.466358 s : * Using Overlapped Comms/Compute Grid : Message : 73.466363 s : * SINGLE precision Grid : Message : 73.466368 s : ================================================================================== Grid : Message : 75.450267 s : Deo mflop/s = 617834.4 (142.5) 593269.9-629970.2 Grid : Message : 75.450283 s : Deo mflop/s per rank 154458.6 Grid : Message : 75.450289 s : Deo mflop/s per node 617834.4 Grid : Message : 75.450297 s : ================================================================================== Grid : Message : 75.450302 s : 32^4 Deo Best mflop/s = 812331.4 ; 812331.4 per node Grid : Message : 75.450312 s : 32^4 Deo Worst mflop/s = 617834.4 ; 617834.4 per node Grid : Message : 75.450322 s : G/S/C ; G/O/C ; G/S/S ; G/O/S Grid : Message : 75.450327 s : 810138.6 ; 617940.8 ; 812331.4 ; 617834.4 ; Grid : Message : 75.450340 s : ================================================================================== Grid : Message : 75.507746 s : ================================================================================== Grid : Message : 75.507756 s : Summary table Ls=12 Grid : Message : 75.507761 s : ================================================================================== Grid : Message : 75.507765 s : L Wilson DWF4 t Staggered Grid : Message : 75.507769 s : 8 82566.8 1116710.2 23953.9 Grid : Message : 75.507800 s : 12 474788.7 3205462.0 195791.9 Grid : Message : 75.507814 s : 16 1298021.0 5330748.5 374599.8 Grid : Message : 75.507822 s : 24 3096297.3 7073308.7 706507.1 Grid : Message : 75.507831 s : 32 4441189.7 8127887.9 812331.4 Grid : Message : 75.507841 s : ================================================================================== Grid : Message : 75.507850 s : ================================================================================== Grid : Message : 75.507854 s : Memory benchmark Grid : Message : 75.507858 s : ================================================================================== Grid : Message : 75.507863 s : ================================================================================== Grid : Message : 75.507868 s : = Benchmarking a*x + y bandwidth Grid : Message : 75.507873 s : ================================================================================== Grid : Message : 75.507878 s : L bytes GB/s Gflop/s seconds GB/s / node Grid : Message : 75.507886 s : ---------------------------------------------------------- Grid : Message : 82.471967 s : 8 3145728.000 115.712 9.643 6.960 115.712 Grid : Message : 83.581450 s : 16 50331648.000 1568.896 130.741 0.513 1568.896 Grid : Message : 83.389554 s : 24 254803968.000 3266.850 272.238 0.246 3266.850 Grid : Message : 83.637234 s : 32 805306368.000 4026.210 335.517 0.200 4026.210 Grid : Message : 83.637869 s : ================================================================================== Grid : Message : 83.637875 s : Memory benchmark Grid : Message : 83.637880 s : ================================================================================== Grid : Message : 83.637886 s : ================================================================================== Grid : Message : 83.637891 s : = Benchmarking z = y*x SU(4) bandwidth Grid : Message : 83.637896 s : ================================================================================== Grid : Message : 83.637901 s : L bytes GB/s Gflop/s seconds GB/s / node Grid : Message : 83.637909 s : ---------------------------------------------------------- Grid : Message : 90.976599 s : 8 6291456.000 219.827 274.783 7.327 219.827 Grid : Message : 91.609966 s : 16 100663296.000 2663.385 3329.231 0.605 2663.385 Grid : Message : 92.656940 s : 24 509607936.000 3844.785 4805.981 0.419 3844.785 Grid : Message : 92.545981 s : 32 1610612736.000 4136.225 5170.281 0.389 4136.225 Grid : Message : 92.546747 s : ================================================================================== Grid : Message : 92.546753 s : Per Node Summary table Ls=12 Grid : Message : 92.546758 s : ================================================================================== Grid : Message : 92.546764 s : L Wilson DWF4 Grid : Message : 92.546769 s : 8 82566.773 1116710.212 Grid : Message : 92.546782 s : 12 474788.681 3205461.982 Grid : Message : 92.546792 s : 16 1298021.028 5330748.505 Grid : Message : 92.546804 s : 24 3096297.333 7073308.688 Grid : Message : 92.546814 s : 32 4441189.738 8127887.933 Grid : Message : 92.546825 s : ================================================================================== Grid : Message : 92.546835 s : ================================================================================== Grid : Message : 92.546842 s : Comparison point result: 7600598.310 Mflop/s per node Grid : Message : 92.546850 s : Comparison point is 0.5*(8127887.933+7073308.688) Grid : Message : 92.546860 s : ==================================================================================