[Haskell-cafe] [10/16] SBM: Graphs for 6.9.x across four cpus

Peter Firefly Brodersen Lund firefly at vax64.dk
Sat Dec 22 04:17:17 EST 2007


This is what you get if you merge the previous four reports (and filter out the
hand-tweaked assembly benchmarks).

I generated the report with the following command:

  EXCLUDE='^hand/' \
  tools/merge.pl   \
     ghc-armada-thorough-6.9.tgz    \
     ghc-fischer-thorough-6.9.tgz   \
     ghc-albatross-thorough-6.9.tgz \
     ghc-thorough-6.9.tgz           \
   > xx

This graph shows the memory usage to be (almost) exactly the same.  The
difference can easily be explained with slightly different versions of the
C library (there was also a security update or two from Ubuntu in the last
few days - the kernel was definitely updated and I think the C library was
too).  We are also talking about two versions of Ubuntu and one (old) version
of SuSE.  And we are talking about three not quite identical versions of ghc.

The fischer and albatross runs were made before the inclusion of the three
benchmarks from Don Stewart (hs/space-bs-c8-count, hs/space-bslc8-count, and
hs/space-bslc8-chunk-4) so they are a couple of holes in the graphs.

The speed pattern is more fun.  It makes no sense to compare absolute times
here so the graphs were not rescaled.  One would naïvely expect the bars to
be about the same when taken in groups of four but that really turns out to be
far from the case!

The explanation is most likely that we are looking at four very different
microarchitectures.

 **********
This should hammer home the point that benchmarking on any single machine
isn't enough!
 **********

Two probably aren't enough either...

-Peter

ls-search
ghc 6.9.20071119
Pentium III (Coppermine)
596.932 MHz
TESTKIND=THOROUGH
SUFFIX=


Fischer's machine
ghc 6.9.20071124
AMD Duron(tm) processor
1200.089 MHz
TESTKIND=THOROUGH
SUFFIX=



albatross
ghc 6.9.20071208 (or thereabouts)
Genuine Intel(R) CPU           T2300  @ 1.66GHz (Core Duo)
1667.000 MHz
TESTKIND=THOROUGH
SUFFIX=



charybdis
ghc 6.9.20071119
AMD Athlon(tm) 64 Processor 3000+
2009.160 MHz
TESTKIND=THOROUGH
SUFFIX=


Time (byte counting)            std
--------------------        avg dev slack
hs/byte-bs----acc:        3.274  1‰ 0.1  ███▏                                 |
 --                       1.892 21‰ 0.4  ██▊                                  |
 --                       0.918  4‰ 0.1  █████▍                               |
 --                       0.705  7‰ 0.1  ███▋                                 |
hs/byte-bs----foldlx:     4.027  0‰ 0.0  ███▊                                 |
 --                       2.258  3‰ 0.1  ███▎                                 |
 --                       1.014  2‰ 0.2  ██████                               |
 --                       1.002  1‰ 0.5  █████▎                               |
hs/byte-bs----foldrx:     4.184  1‰ 0.0  ███▉                                 |
 --                       2.933  0‰ 0.1  ████▎                                |
 --                       0.999  2‰ 0.1  █████▉                               |
 --                       1.112  2‰ 0.1  █████▊                               |
hs/byte-bsl---acc:       28.005 10‰ 0.0  ██████████████████████████▍          |
 --                      14.319 45‰ 0.1  ████████████████████▌                |
 --                       1.957  1‰ 0.1  ███████████▌                         |
 --                       2.595 14‰ 0.1  █████████████▌                       |
hs/byte-xxxxx-acc-1:     25.852  4‰ 0.0  ████████████████████████▎            |
 --                      20.915 17‰ 4.0  █████████████████████████████▉       |
 --                       3.591  2‰ 0.1  █████████████████████▏               |
 --                       4.436  5‰ 0.0  ███████████████████████▏             |
hs/byte-xxxxx-acc-2:     25.622  5‰ 0.0  ████████████████████████▏            |
 --                      20.691  8‰ 0.1  █████████████████████████████▌       |
 --                       3.598  4‰ 0.1  █████████████████████▏               |
 --                       4.473  8‰ 0.0  ███████████████████████▎             |
hs/byte-xxxxx-foldl:     25.803  5‰ 0.0  ████████████████████████▎            |
 --                      20.610  5‰ 1.4  █████████████████████████████▍       |
 --                       3.594  1‰ 0.1  █████████████████████▏               |
 --                       4.412 10‰ 0.0  ███████████████████████              |
c/byte-getchar:          13.016  0‰ 0.0  ████████████▎                        |
 --                       9.042  0‰ 0.1  ████████████▉                        |
 --                       3.761  2‰ 0.1  ██████████████████████▏              |
 --                       2.422 27‰ 0.1  ████████████▋                        |
c/byte-getchar-u:         1.662  1‰ 0.1  █▋                                   |
 --                       1.314  3‰ 0.2  █▉                                   |
 --                       0.719  2‰ 0.3  ████▎                                |
 --                       0.632  3‰ 0.3  ███▎                                 |
c/byte-4k:                0.543  2‰ 0.2  ▌                                    |
 --                       0.419  5‰ 0.5  ▋                                    |
 --                       0.101 10‰ 3.1  ▋                                    |
 --                       0.094 26‰ 2.2  ▌                                    |


Memory:                    Peak
-------                     KB 
hs/byte-bs----acc:       147752 ████████████████████████████████████████      |
 --                      147492 ████████████████████████████████████████      |
 --                      147784 ████████████████████████████████████████▏     |
 --                      147752 ████████████████████████████████████████      |
hs/byte-bs----foldlx:    147756 ████████████████████████████████████████      |
 --                      147492 ████████████████████████████████████████      |
 --                      147812 ████████████████████████████████████████▏     |
 --                      147748 ████████████████████████████████████████      |
hs/byte-bs----foldrx:    147760 ████████████████████████████████████████      |
 --                      147488 ████████████████████████████████████████      |
 --                      147788 ████████████████████████████████████████▏     |
 --                      147744 ████████████████████████████████████████      |
hs/byte-bsl---acc:         3180 â–‰                                             |
 --                        2896 â–Š                                             |
 --                        3228 â–‰                                             |
 --                        3172 â–‰                                             |
hs/byte-xxxxx-acc-1:       1916 ▌                                             |
 --                        1612 ▌                                             |
 --                        1904 ▌                                             |
 --                        1904 ▌                                             |
hs/byte-xxxxx-acc-2:       1912 ▌                                             |
 --                        1612 ▌                                             |
 --                        1908 ▌                                             |
 --                        1904 ▌                                             |
hs/byte-xxxxx-foldl:       1912 ▌                                             |
 --                        1612 ▌                                             |
 --                        1908 ▌                                             |
 --                        1900 ▌                                             |
c/byte-getchar:             436 ▏                                             |
 --                         384 ▏                                             |
 --                         432 ▏                                             |
 --                         440 ▏                                             |
c/byte-getchar-u:           432 ▏                                             |
 --                         384 ▏                                             |
 --                         440 ▏                                             |
 --                         440 ▏                                             |
c/byte-4k:                  436 ▏                                             |
 --                         380 ▏                                             |
 --                         436 ▏                                             |
 --                         440 ▏                                             |


Time (space counting)           std
---------------------       avg dev slack
hs/space-bs-c8-acc-1:     4.318  1‰ 0.0  ████                                 |
 --                       2.467  1‰ 0.3  ███▌                                 |
 --                       1.313  0‰ 0.2  ███████▊                             |
 --                       1.145  1‰ 0.2  ██████                               |
hs/space-bs-c8-count:     3.118  1‰ 0.1  ██▉                                  |
 --                         n/a
 --                         n/a
 --                       0.521  1‰ 0.2  ██▊                                  |
hs/space-bs-c8-foldlx-1:  4.631  1‰ 0.0  ████▍                                |
 --                       2.585  2‰ 0.1  ███▊                                 |
 --                       1.326  1‰ 0.1  ███████▊                             |
 --                       1.221  1‰ 0.1  ██████▍                              |
hs/space-bs-c8-foldlx-2:  4.632  1‰ 0.0  ████▍                                |
 --                       2.576  2‰ 0.3  ███▋                                 |
 --                       1.328  1‰ 0.1  ███████▉                             |
 --                       1.219  2‰ 0.2  ██████▍                              |
hs/space-bs-c8-foldrx:    4.678  0‰ 0.0  ████▍                                |
 --                       2.982  8‰ 2.3  ████▎                                |
 --                       1.128  1‰ 0.2  ██████▋                              |
 --                       1.172  2‰ 0.3  ██████▏                              |
hs/space-bs-c8-lenfil:    4.634  1‰ 0.1  ████▍                                |
 --                       2.599  1‰ 0.2  ███▊                                 |
 --                       1.327  2‰ 0.2  ███████▊                             |
 --                       1.223  1‰ 0.2  ██████▍                              |
hs/space-bslc8-acc-1:    32.733  7‰ 0.0  ██████████████████████████████▊      |
 --                      15.228  8‰ 0.1  █████████████████████▊               |
 --                       3.002  1‰ 0.1  █████████████████▋                   |
 --                       3.388 10‰ 0.1  █████████████████▋                   |
hs/space-bslc8-acc-2:    33.112 11‰ 0.0  ███████████████████████████████▏     |
 --                      15.855 38‰ 0.0  ██████████████████████▋              |
 --                       3.010  2‰ 0.0  █████████████████▊                   |
 --                       3.386  5‰ 0.1  █████████████████▋                   |
hs/space-bslc8-acc-3:    30.294 12‰ 0.0  ████████████████████████████▌        |
 --                      14.980 14‰ 0.0  █████████████████████▍               |
 --                       2.586  1‰ 0.1  ███████████████▎                     |
 --                       2.832  4‰ 0.1  ██████████████▊                      |
hs/space-bslc8-chunk-1:   3.888  0‰ 0.1  ███▋                                 |
 --                       2.443  2‰ 0.2  ███▌                                 |
 --                       1.192  0‰ 0.0  ███████                              |
 --                       1.094  0‰ 0.3  █████▊                               |
hs/space-bslc8-chunk-2:   3.887  1‰ 0.0  ███▋                                 |
 --                       2.449  1‰ 0.3  ███▌                                 |
 --                       1.189  0‰ 0.1  ███████                              |
 --                       1.094  1‰ 0.3  █████▊                               |
hs/space-bslc8-chunk-3:   3.881  0‰ 0.1  ███▋                                 |
 --                       2.534  3‰ 0.3  ███▋                                 |
 --                       1.272  1‰ 0.2  ███████▌                             |
 --                       1.087  1‰ 0.3  █████▋                               |
hs/space-bslc8-chunk-4:   3.910  1‰ 0.0  ███▋                                 |
 --                         n/a
 --                         n/a
 --                       1.099  0‰ 0.3  █████▊                               |
hs/space-bslc8-count:     2.355  1‰ 0.1  ██▎                                  |
 --                         n/a
 --                         n/a
 --                       0.477  2‰ 0.4  ██▌                                  |
hs/space-bslc8-foldl:     4.674  0‰ 0.0  ████▍                                |
 --                       2.938  1‰ 0.2  ████▎                                |
 --                       1.517  0‰ 0.1  ████████▉                            |
 --                       1.458  1‰ 0.3  ███████▋                             |
hs/space-bslc8-foldlx-1:  4.676  0‰ 0.0  ████▍                                |
 --                       2.928  1‰ 0.0  ████▏                                |
 --                       1.516  0‰ 0.0  ████████▉                            |
 --                       1.458  0‰ 0.1  ███████▋                             |
hs/space-bslc8-foldlx-2:  4.676  0‰ 0.0  ████▍                                |
 --                       2.937  2‰ 0.2  ████▎                                |
 --                       1.511  0‰ 0.0  ████████▉                            |
 --                       1.457  1‰ 0.1  ███████▋                             |
hs/space-bslc8-foldr-1:   5.222  0‰ 0.0  ████▉                                |
 --                       4.043  6‰ 0.1  █████▊                               |
 --                       1.205  1‰ 0.2  ███████▏                             |
 --                       1.312  1‰ 0.2  ██████▉                              |
hs/space-bslc8-foldr-2:   5.224  1‰ 0.1  ████▉                                |
 --                       4.007  4‰ 0.1  █████▊                               |
 --                       1.202  3‰ 0.1  ███████▏                             |
 --                       1.315  1‰ 0.2  ██████▉                              |
hs/space-bslc8-lenfil-1:  4.712  1‰ 0.0  ████▍                                |
 --                       3.240  1‰ 0.2  ████▋                                |
 --                       1.400  0‰ 0.0  ████████▎                            |
 --                       1.323  1‰ 0.1  ██████▉                              |
hs/space-bslc8-lenfil-2:  4.714  1‰ 0.0  ████▍                                |
 --                       3.236  1‰ 0.2  ████▋                                |
 --                       1.396  0‰ 0.0  ████████▎                            |
 --                       1.325  1‰ 0.1  ██████▉                              |
hs/space-bsl---foldlx:    4.522  0‰ 0.1  ████▎                                |
 --                       2.821  1‰ 0.1  ████                                 |
 --                       1.476  1‰ 0.1  ████████▋                            |
 --                       1.391  1‰ 0.1  ███████▎                             |
hs/space-xxxxx-acc-1:    27.529  6‰ 0.0  █████████████████████████▉           |
 --                      21.002  4‰ 0.1  ██████████████████████████████       |
 --                       4.245  1‰ 0.0  █████████████████████████            |
 --                       4.991  1‰ 0.1  ██████████████████████████           |
hs/space-xxxxx-acc-2:    27.200  3‰ 0.0  █████████████████████████▋           |
 --                      21.270 22‰ 4.7  ██████████████████████████████▍      |
 --                       4.241  2‰ 0.1  █████████████████████████            |
 --                       4.985  1‰ 0.0  ██████████████████████████           |
hs/space-xxxxx-foldl:    27.436  8‰ 0.0  █████████████████████████▊           |
 --                      20.934  1‰ 0.1  █████████████████████████████▉       |
 --                       4.239  2‰ 0.1  █████████████████████████            |
 --                       5.035  2‰ 0.1  ██████████████████████████▎          |
hs/space-xxxxx-lenfil:   39.343  3‰ 0.0  █████████████████████████████████████|
 --                      25.915  3‰ 0.0  █████████████████████████████████████|
 --                       6.287  2‰ 0.0  █████████████████████████████████████|
 --                       7.106  8‰ 0.1  █████████████████████████████████████|
c/space-getchar:         13.268  0‰ 0.0  ████████████▌                        |
 --                       9.354  0‰ 0.0  █████████████▍                       |
 --                       4.031 18‰ 0.0  ███████████████████████▊             |
 --                       2.465 15‰ 0.1  ████████████▉                        |
c/space-getchar-u:        2.170  0‰ 0.1  ██                                   |
 --                       1.676  2‰ 0.2  ██▍                                  |
 --                       0.609  2‰ 0.7  ███▋                                 |
 --                       0.631  1‰ 0.5  ███▎                                 |
c/space-4k:               1.815  1‰ 0.1  █▊                                   |
 --                       1.293  2‰ 0.5  █▉                                   |
 --                       0.465  2‰ 0.6  ██▊                                  |
 --                       0.319  3‰ 0.6  █▋                                   |
c/space-megabuf:          2.763  2‰ 0.1  ██▋                                  |
 --                       1.830  3‰ 0.5  ██▋                                  |
 --                       0.613  1‰ 0.3  ███▋                                 |
 --                       0.515  3‰ 0.4  ██▋                                  |
c/space-getwchar:        15.105 29‰ 0.0  ██████████████▎                      |
 --                      14.721  1‰ 0.1  █████████████████████                |
 --                       4.584  1‰ 0.1  ███████████████████████████          |
 --                       3.956  6‰ 0.1  ████████████████████▋                |
c/space-getwchar-u:       8.979  1‰ 0.0  ████████▌                            |
 --                       4.814  0‰ 0.0  ██████▉                              |
 --                       2.437  0‰ 0.1  ██████████████▍                      |
 --                       2.217  1‰ 0.1  ███████████▌                         |
c/space-32k:              1.786  9‰ 0.1  █▋                                   |
 --                       1.276  2‰ 0.6  █▉                                   |
 --                       0.445  1‰ 0.5  ██▋                                  |
 --                       0.303  3‰ 1.0  █▋                                   |
c/space-32k-8:            1.777  1‰ 0.1  █▋                                   |
 --                       1.275  2‰ 0.2  █▉                                   |
 --                       0.448  0‰ 0.0  ██▋                                  |
 --                       0.304  2‰ 0.3  █▋                                   |


Memory:                    Peak
-------                     KB 
hs/space-bs-c8-acc-1:    147748 ████████████████████████████████████████      |
 --                      147488 ████████████████████████████████████████      |
 --                      147772 ████████████████████████████████████████      |
 --                      147736 ████████████████████████████████████████      |
hs/space-bs-c8-count:    147760 ████████████████████████████████████████      |
 --                         n/a
 --                         n/a
 --                      147744 ████████████████████████████████████████      |
hs/space-bs-c8-foldlx-1: 147760 ████████████████████████████████████████      |
 --                      147492 ████████████████████████████████████████      |
 --                      147800 ████████████████████████████████████████▏     |
 --                      147756 ████████████████████████████████████████      |
hs/space-bs-c8-foldlx-2: 147764 ████████████████████████████████████████      |
 --                      147492 ████████████████████████████████████████      |
 --                      147804 ████████████████████████████████████████▏     |
 --                      147752 ████████████████████████████████████████      |
hs/space-bs-c8-foldrx:   147748 ████████████████████████████████████████      |
 --                      147488 ████████████████████████████████████████      |
 --                      147776 ████████████████████████████████████████      |
 --                      147732 ████████████████████████████████████████      |
hs/space-bs-c8-lenfil:   147764 ████████████████████████████████████████      |
 --                      147492 ████████████████████████████████████████      |
 --                      147796 ████████████████████████████████████████▏     |
 --                      147756 ████████████████████████████████████████      |
hs/space-bslc8-acc-1:      3196 â–‰                                             |
 --                        2896 â–Š                                             |
 --                        3192 â–‰                                             |
 --                        3192 â–‰                                             |
hs/space-bslc8-acc-2:      3200 â–‰                                             |
 --                        2896 â–Š                                             |
 --                        3192 â–‰                                             |
 --                        3192 â–‰                                             |
hs/space-bslc8-acc-3:      3204 â–‰                                             |
 --                        2896 â–Š                                             |
 --                        3188 â–‰                                             |
 --                        3196 â–‰                                             |
hs/space-bslc8-chunk-1:   65204 █████████████████▋                            |
 --                       65892 █████████████████▉                            |
 --                       65208 █████████████████▋                            |
 --                       65192 █████████████████▋                            |
hs/space-bslc8-chunk-2:   65200 █████████████████▋                            |
 --                       65892 █████████████████▉                            |
 --                       65212 █████████████████▋                            |
 --                       65192 █████████████████▋                            |
hs/space-bslc8-chunk-3:   75248 ████████████████████▍                         |
 --                       76472 ████████████████████▊                         |
 --                       75232 ████████████████████▍                         |
 --                       75240 ████████████████████▍                         |
hs/space-bslc8-chunk-4:   76204 ████████████████████▋                         |
 --                         n/a
 --                         n/a
 --                       76188 ████████████████████▋                         |
hs/space-bslc8-count:     79224 █████████████████████▌                        |
 --                         n/a
 --                         n/a
 --                       79204 █████████████████████▌                        |
hs/space-bslc8-foldl:     85880 ███████████████████████▎                      |
 --                       86772 ███████████████████████▋                      |
 --                       85856 ███████████████████████▎                      |
 --                       85868 ███████████████████████▎                      |
hs/space-bslc8-foldlx-1:  85880 ███████████████████████▎                      |
 --                       86772 ███████████████████████▋                      |
 --                       85852 ███████████████████████▎                      |
 --                       85864 ███████████████████████▎                      |
hs/space-bslc8-foldlx-2:  85880 ███████████████████████▎                      |
 --                       86772 ███████████████████████▋                      |
 --                       85856 ███████████████████████▎                      |
 --                       85868 ███████████████████████▎                      |
hs/space-bslc8-foldr-1:  169704 ██████████████████████████████████████████████|
 --                      169360 ██████████████████████████████████████████████|
 --                      169684 ██████████████████████████████████████████████|
 --                      169700 ██████████████████████████████████████████████|
hs/space-bslc8-foldr-2:  169700 ██████████████████████████████████████████████|
 --                      169360 ██████████████████████████████████████████████|
 --                      169684 ██████████████████████████████████████████████|
 --                      169700 ██████████████████████████████████████████████|
hs/space-bslc8-lenfil-1: 109408 █████████████████████████████▋                |
 --                      110704 ██████████████████████████████▏               |
 --                      109404 █████████████████████████████▋                |
 --                      109404 █████████████████████████████▋                |
hs/space-bslc8-lenfil-2: 109404 █████████████████████████████▋                |
 --                      110704 ██████████████████████████████▏               |
 --                      109404 █████████████████████████████▋                |
 --                      109404 █████████████████████████████▋                |
hs/space-bsl---foldlx:    85844 ███████████████████████▎                      |
 --                       86776 ███████████████████████▋                      |
 --                       85880 ███████████████████████▎                      |
 --                       85836 ███████████████████████▎                      |
hs/space-xxxxx-acc-1:      1912 ▌                                             |
 --                        1612 ▌                                             |
 --                        1916 ▌                                             |
 --                        1904 ▌                                             |
hs/space-xxxxx-acc-2:      1912 ▌                                             |
 --                        1612 ▌                                             |
 --                        1916 ▌                                             |
 --                        1904 ▌                                             |
hs/space-xxxxx-foldl:      1912 ▌                                             |
 --                        1612 ▌                                             |
 --                        1916 ▌                                             |
 --                        1900 ▌                                             |
hs/space-xxxxx-lenfil:     1904 ▌                                             |
 --                        1588 ▍                                             |
 --                        1892 ▌                                             |
 --                        1892 ▌                                             |
c/space-getchar:            436 ▏                                             |
 --                         384 ▏                                             |
 --                         436 ▏                                             |
 --                         444 ▏                                             |
c/space-getchar-u:          436 ▏                                             |
 --                         384 ▏                                             |
 --                         436 ▏                                             |
 --                         444 ▏                                             |
c/space-4k:                 472 ▏                                             |
 --                         412 ▏                                             |
 --                         468 ▏                                             |
 --                         468 ▏                                             |
c/space-megabuf:         146968 ███████████████████████████████████████▉      |
 --                      146904 ███████████████████████████████████████▉      |
 --                      146968 ███████████████████████████████████████▉      |
 --                      146968 ███████████████████████████████████████▉      |
c/space-getwchar:           484 ▏                                             |
 --                         440 ▏                                             |
 --                         484 ▏                                             |
 --                         496 ▏                                             |
c/space-getwchar-u:         484 ▏                                             |
 --                         440 ▏                                             |
 --                         480 ▏                                             |
 --                         500 ▏                                             |
c/space-32k:                500 ▏                                             |
 --                         436 ▏                                             |
 --                         496 ▏                                             |
 --                         496 ▏                                             |
c/space-32k-8:              496 ▏                                             |
 --                         436 ▏                                             |
 --                         500 ▏                                             |
 --                         500 ▏                                             |



More information about the Haskell-Cafe mailing list