<div dir="ltr"><font face="monospace, monospace">The methodology does look reasonable, although I think you should wait for all the scotty threads to start before starting the benchmarks, as I see this interleaved output:</font><div><font face="monospace, monospace"><br></font></div><div><div><font face="monospace, monospace">Setting phasers to stun... (port 3002) (ctrl-c to quit)</font></div><div><font face="monospace, monospace">Setting phasers to stun... (port 3003) (ctrl-c to quit)</font></div><div><font face="monospace, monospace">Setting phasers to stun... (port 3001) (ctrl-c to quit)</font></div><div><font face="monospace, monospace">benchmarking bareScotty</font></div><div><font face="monospace, monospace">Setting phasers to stun... (port 3000) (ctrl-c to quit)</font></div></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Your numbers are wayyy slower than the ones I see on my dev machine:</font></div><div><font face="monospace, monospace"><br></font></div><div><div><font face="monospace, monospace">benchmarking bareScotty</font></div><div><font face="monospace, monospace">Setting phasers to stun... (port 3000) (ctrl-c to quit)</font></div><div><font face="monospace, monospace">time                 10.94 ms   (10.36 ms .. 11.52 ms)</font></div><div><font face="monospace, monospace">                     0.979 R²   (0.961 R² .. 0.989 R²)</font></div><div><font face="monospace, monospace">mean                 12.53 ms   (11.98 ms .. 13.28 ms)</font></div><div><font face="monospace, monospace">std dev              1.702 ms   (1.187 ms .. 2.589 ms)</font></div><div><font face="monospace, monospace">variance introduced by outliers: 66% (severely inflated)</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">benchmarking bareScottyBareLucid</font></div><div><font face="monospace, monospace">time                 12.95 ms   (12.28 ms .. 13.95 ms)</font></div><div><font face="monospace, monospace">                     0.972 R²   (0.951 R² .. 0.989 R²)</font></div><div><font face="monospace, monospace">mean                 12.20 ms   (11.75 ms .. 12.69 ms)</font></div><div><font face="monospace, monospace">std dev              1.236 ms   (991.3 μs .. 1.601 ms)</font></div><div><font face="monospace, monospace">variance introduced by outliers: 50% (severely inflated)</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">benchmarking transScottyBareLucid</font></div><div><font face="monospace, monospace">time                 12.05 ms   (11.70 ms .. 12.39 ms)</font></div><div><font face="monospace, monospace">                     0.992 R²   (0.982 R² .. 0.996 R²)</font></div><div><font face="monospace, monospace">mean                 12.43 ms   (12.06 ms .. 13.01 ms)</font></div><div><font face="monospace, monospace">std dev              1.320 ms   (880.5 μs .. 2.071 ms)</font></div><div><font face="monospace, monospace">variance introduced by outliers: 54% (severely inflated)</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">benchmarking transScottyTransLucid</font></div><div><font face="monospace, monospace">time                 39.73 ms   (32.16 ms .. 49.45 ms)</font></div><div><font face="monospace, monospace">                     0.668 R²   (0.303 R² .. 0.969 R²)</font></div><div><font face="monospace, monospace">mean                 42.59 ms   (36.69 ms .. 54.38 ms)</font></div><div><font face="monospace, monospace">std dev              16.52 ms   (8.456 ms .. 25.96 ms)</font></div><div><font face="monospace, monospace">variance introduced by outliers: 92% (severely inflated)</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">benchmarking bareScotty</font></div><div><font face="monospace, monospace">time                 11.46 ms   (10.89 ms .. 12.07 ms)</font></div><div><font face="monospace, monospace">                     0.986 R²   (0.975 R² .. 0.994 R²)</font></div><div><font face="monospace, monospace">mean                 11.73 ms   (11.45 ms .. 12.07 ms)</font></div><div><font face="monospace, monospace">std dev              800.6 μs   (636.8 μs .. 975.3 μs)</font></div><div><font face="monospace, monospace">variance introduced by outliers: 34% (moderately inflated)</font></div><div><font face="monospace, monospace"><br></font></div></div><div><font face="monospace, monospace">but nonetheless I do also see the one using renderTextT to be substantially slower than the one without.</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">I've sent you a PR [1] that isolates Lucid from Scotty and shows that renderTextT is twice as slow over IO than it is over Identity, and it's ~10% slower over Reader too:</font></div><div><font face="monospace, monospace"><br></font></div><div><div><font face="monospace, monospace">benchmarking renderText</font></div><div><font face="monospace, monospace">time                 5.529 ms   (5.328 ms .. 5.709 ms)</font></div><div><font face="monospace, monospace">                     0.990 R²   (0.983 R² .. 0.995 R²)</font></div><div><font face="monospace, monospace">mean                 5.645 ms   (5.472 ms .. 5.888 ms)</font></div><div><font face="monospace, monospace">std dev              593.0 μs   (352.5 μs .. 908.2 μs)</font></div><div><font face="monospace, monospace">variance introduced by outliers: 63% (severely inflated)</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">benchmarking renderTextT Id</font></div><div><font face="monospace, monospace">time                 5.439 ms   (5.243 ms .. 5.640 ms)</font></div><div><font face="monospace, monospace">                     0.991 R²   (0.985 R² .. 0.996 R²)</font></div><div><font face="monospace, monospace">mean                 5.498 ms   (5.367 ms .. 5.631 ms)</font></div><div><font face="monospace, monospace">std dev              408.8 μs   (323.8 μs .. 552.9 μs)</font></div><div><font face="monospace, monospace">variance introduced by outliers: 45% (moderately inflated)</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">benchmarking renderTextT Rd</font></div><div><font face="monospace, monospace">time                 6.173 ms   (5.983 ms .. 6.396 ms)</font></div><div><font face="monospace, monospace">                     0.990 R²   (0.983 R² .. 0.995 R²)</font></div><div><font face="monospace, monospace">mean                 6.284 ms   (6.127 ms .. 6.527 ms)</font></div><div><font face="monospace, monospace">std dev              581.6 μs   (422.9 μs .. 773.0 μs)</font></div><div><font face="monospace, monospace">variance introduced by outliers: 55% (severely inflated)</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">benchmarking renderTextT IO</font></div><div><font face="monospace, monospace">time                 12.35 ms   (11.84 ms .. 12.84 ms)</font></div><div><font face="monospace, monospace">                     0.989 R²   (0.982 R² .. 0.995 R²)</font></div><div><font face="monospace, monospace">mean                 12.22 ms   (11.85 ms .. 12.76 ms)</font></div><div><font face="monospace, monospace">std dev              1.159 ms   (729.5 μs .. 1.683 ms)</font></div><div><font face="monospace, monospace">variance introduced by outliers: 50% (severely inflated)</font></div></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">I tried replacing</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">    forM [1..10000] (\_ -> div_ "hello world!")</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">with</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">    replicateM_ 10000 (div_ "hello world!")<br></font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">which discards the list of 10,000 () values that the forM thing generates, but this made very little difference.</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Hope this helps,</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">David</font><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">[1] <a href="https://github.com/vacationlabs/monad-transformer-benchmark/pull/2">https://github.com/vacationlabs/monad-transformer-benchmark/pull/2</a><br></font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><br></font></div><div class="gmail_extra"><font face="monospace, monospace"><br></font><div class="gmail_quote"><font face="monospace, monospace">On 29 January 2017 at 07:26, Saurabh Nanda <span dir="ltr"><<a href="mailto:saurabhnanda@gmail.com" target="_blank">saurabhnanda@gmail.com</a>></span> wrote:<br></font><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><font face="monospace, monospace">Hi,
</font><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">I was noticing severe drop in performance when Lucid's HtmlT was being combined with Scotty's ActionT. I've tried putting together a minimal repro at <a href="https://github.com/vacationlabs/monad-transformer-benchmark" target="_blank">https://github.com/<wbr>vacationlabs/monad-<wbr>transformer-benchmark</a> Request someone with better knowledge of benchmarking to check if the benchmarking methodology is correct.</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Is my reading of 200ms performance penalty correct?</font></div><span class="gmail-HOEnZb"><font color="#888888" face="monospace, monospace"><div><br></div><div>-- Saurabh.</div><div><br></div></font></span></div>
<font face="monospace, monospace"><br>______________________________<wbr>_________________<br>
Haskell-Cafe mailing list<br>
To (un)subscribe, modify options or view archives go to:<br>
<a href="http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe" rel="noreferrer" target="_blank">http://mail.haskell.org/cgi-<wbr>bin/mailman/listinfo/haskell-<wbr>cafe</a><br>
Only members subscribed via the mailman list are allowed to post.<br></font></blockquote></div><br></div></div>