<div dir="ltr">I thought about this but discarded it quite early on for the hacky nature. But that definitely looks like my best shot, the more I think about it. Thanks. </div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jun 11, 2015 at 1:48 PM, Roman Cheplyaka <span dir="ltr"><<a href="mailto:roma@ro-che.info" target="_blank">roma@ro-che.info</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">In your CI script, you can rename one of your versions (say, mypkg to<br>
mypkg-new) and then use -XPackageImports.<br>
<div><div class="h5"><br>
On 11/06/15 14:41, Alp Mestanogullari wrote:<br>
> Hi -cafe,<br>
><br>
> While we can easily benchmark different functions or libraries easily<br>
> with criterion, I can't think of a reasonably easy (and accurate!) way<br>
> of benchmarking two versions of the same package. And not necessarily<br>
> version as in cabal version -- one of the use cases I have in mind would<br>
> be running a benchmark suite whenever a PR gets merged to the main<br>
> branch of a library, so the benchmark would need to compare<br>
> the performance of the library's-code-before-merging and after.<br>
><br>
> This definitely can't be accomplished with something like criterion<br>
> because we can't have two different instances of a package in scope for<br>
> a module, even with -XPackageImports.<br>
><br>
> If we separately build the same program against two instances of the<br>
> same library and run the benchmarks separately, this might happen far<br>
> apart enough that the machine running this might be under a different<br>
> load. This does however seem to be the only actual solution? Run<br>
> separately at two different commits, diff the numbers, report.<br>
><br>
> I have felt the need for a solution to this for quite some time, but<br>
> have never needed it bad enough that it became a priority. Thinking<br>
> about it again today, I thought I should drop an email to the list and<br>
> see if fellow haskellers have an easy-to-use solution for this? I may<br>
> very well be overlooking something.<br>
><br>
> --<br>
> Alp Mestanogullari<br>
><br>
><br>
</div></div>> _______________________________________________<br>
> Haskell-Cafe mailing list<br>
> <a href="mailto:Haskell-Cafe@haskell.org">Haskell-Cafe@haskell.org</a><br>
> <a href="http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe" rel="noreferrer" target="_blank">http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe</a><br>
><br>
<br>
<br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature">Alp Mestanogullari</div>
</div>