<div dir="ltr">Yeah, although I think this doesn't really solve the issue of using two versions of the same package.</div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jun 11, 2015 at 1:52 PM, lucas di cioccio <span dir="ltr"><<a href="mailto:lucas.dicioccio@gmail.com" target="_blank">lucas.dicioccio@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">You should be able to use Laborantin to organize this kind of experiments. You'll have to write some boilerplate on how to "build" each package set.<div><div><a href="https://hackage.haskell.org/package/laborantin-hs" target="_blank">https://hackage.haskell.org/package/laborantin-hs</a><span class="HOEnZb"><font color="#888888"><br><div><br><div>--Lucas</div></div></font></span></div></div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">2015-06-11 12:45 GMT+01:00 Alp Mestanogullari <span dir="ltr"><<a href="mailto:alpmestan@gmail.com" target="_blank">alpmestan@gmail.com</a>></span>:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5"><div dir="ltr">Oh, Julian Arni just reminded me of Joachim Breitner's Gipeda: <a href="https://github.com/nomeata/gipeda" target="_blank">https://github.com/nomeata/gipeda</a><div><br></div><div>This might do the trick, but any suggestion is still welcome!</div></div><div class="gmail_extra"><div><div><br><div class="gmail_quote">On Thu, Jun 11, 2015 at 1:41 PM, Alp Mestanogullari <span dir="ltr"><<a href="mailto:alpmestan@gmail.com" target="_blank">alpmestan@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi -cafe,<br clear="all"><div><br></div><div>While we can easily benchmark different functions or libraries easily with criterion, I can't think of a reasonably easy (and accurate!) way of benchmarking two versions of the same package. And not necessarily version as in cabal version -- one of the use cases I have in mind would be running a benchmark suite whenever a PR gets merged to the main branch of a library, so the benchmark would need to compare</div><div>the performance of the library's-code-before-merging and after.</div><div><br></div><div>This definitely can't be accomplished with something like criterion because we can't have two different instances of a package in scope for a module, even with -XPackageImports.</div><div><br></div><div>If we separately build the same program against two instances of the same library and run the benchmarks separately, this might happen far apart enough that the machine running this might be under a different load. This does however seem to be the only actual solution? Run separately at two different commits, diff the numbers, report.</div><div><br></div><div>I have felt the need for a solution to this for quite some time, but have never needed it bad enough that it became a priority. Thinking about it again today, I thought I should drop an email to the list and see if fellow haskellers have an easy-to-use solution for this? I may very well be overlooking something.</div><span><font color="#888888"><div><br></div>-- <br><div>Alp Mestanogullari</div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div></div></div><span><font color="#888888">-- <br><div>Alp Mestanogullari</div>
</font></span></div>
<br></div></div><span class="">_______________________________________________<br>
Haskell-Cafe mailing list<br>
<a href="mailto:Haskell-Cafe@haskell.org" target="_blank">Haskell-Cafe@haskell.org</a><br>
<a href="http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe" rel="noreferrer" target="_blank">http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe</a><br>
<br></span></blockquote></div><br></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature">Alp Mestanogullari</div>
</div>