<html><head><meta http-equiv="Content-Type" content="text/html charset=iso-8859-1"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">Kim-Ee,<div><br></div><div>The updated fib-analyse report from a few hours ago is posted here:&nbsp;<a href="https://gist.github.com/leroux/6725810#file-headvordnub-analysis-L2988">https://gist.github.com/leroux/6725810#file-headvordnub-analysis-L2988</a></div><div><div>Comment (<a href="http://ghc.haskell.org/trac/ghc/ticket/8173#comment:9">http://ghc.haskell.org/trac/ghc/ticket/8173#comment:9</a>)</div><div><br></div><div>Sorry for the misunderstanding.</div><div>
<br class="Apple-interchange-newline"><span style="color: rgb(0, 0, 0); font-family: 'Lucida Grande'; font-size: medium; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; display: inline !important; float: none; ">Muhaimin</span>

</div>
<br><div><div>On Sep 27, 2013, at 3:56 PM, Kim-Ee Yeoh &lt;<a href="mailto:ky3@atamo.com">ky3@atamo.com</a>&gt; wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Sep 27, 2013 at 8:14 PM, GHC <span dir="ltr">&lt;<a href="mailto:ghc-devs@haskell.org" target="_blank">ghc-devs@haskell.org</a>&gt;</span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div id=":2pl" style="overflow:hidden">A 5% improvement in compile time is remarkable, if it's true. &nbsp;Great! &nbsp;But<br>


&nbsp;I'm always worried about the noise in compile times measured in seconds.</div></blockquote></div><br></div><div class="gmail_extra">Does anyone else think the noise in runtimes is alarming considering that the following is the fib-analysis of /binary-identical/ programs? <br>

<br></div><div class="gmail_extra">&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; Min &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;-0.1% &nbsp; &nbsp; -0.0% &nbsp; &nbsp;-25.4% &nbsp; &nbsp;-32.2% &nbsp; &nbsp; -1.3%<br>
&gt;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; Max &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;+0.1% &nbsp; &nbsp; +0.0% &nbsp; &nbsp;+19.0% &nbsp; &nbsp;+22.2% &nbsp; &nbsp;+10.0%<br><br></div><div class="gmail_extra">Shouldn't we find an explanation for this before believing the compile time numbers? What would cause these wide swings on the benchmarking machine?<br>

<br></div><div class="gmail_extra">p.s. For the record: Should do more rigorous statistical testing instead of naive percentages, yes?<br></div><div class="gmail_extra"><br><div>-- Kim-Ee</div>
</div></div>
_______________________________________________<br>ghc-tickets mailing list<br><a href="mailto:ghc-tickets@haskell.org">ghc-tickets@haskell.org</a><br>http://www.haskell.org/mailman/listinfo/ghc-tickets<br></blockquote></div><br></div></body></html>