<div dir="ltr">I slightly feel like we should first upgrade the typeable hashing rep from md5 to sha3-256 or something like that (though i've talked about how finding a compilable pair of  collisions would make for a fun april first package ), but I do think theres certainly some really cool things if we think about that sort of direction carefully. I'm not aware of any efforts in this direction atm </div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Mar 18, 2020 at 2:05 PM Alan & Kim Zimmerman <<a href="mailto:alan.zimm@gmail.com">alan.zimm@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>I am not exploring, but watching with great interest.  And may not be able to resist jumping in if something comes of it.<br></div><div><br></div><div>Alan<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 18 Mar 2020 at 11:23, Chris Done <<a href="mailto:haskell-cafe@chrisdone.com" target="_blank">haskell-cafe@chrisdone.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><u></u><div><div>Hi all,<br></div><div><div><br></div><div>Is there any effort or designs ongoing to add CAS (content-addressable storage) to GHC, as in Unison? <<br></div><div><a href="https://www.unisonweb.org/docs/tour/" target="_blank">https://www.unisonweb.org/docs/tour/</a>><br></div><div><br></div><div>== The idea ==</div><div><br></div><div>The summary of the idea is simply that top-level declarations can be addressed by a hash of their contents. Recursive definitions are transformed into the worker/wrapper to eliminate the self-referencing issue of hashing.<br></div><div><br></div><div>== Why I want this ==</div><div><br></div><div>There are lots of advantages to this, but the one that excites me the most is that we can move to running tests, especially property tests, at compile-time.<br></div><div><br></div><div>The main downside to running tests at compile-time, as seen done with template-haskell is that you will re-run tests every time the module is recompiled, making your dev cycle slower. However, if your tests are keyed upon CAS hashes, then those hashes are only invalidated when individual declarations actually change. This means the re-running of tests becomes granular at the declaration-level.  When a single test completes, either successfully or not, you can cache the result and lookup the result next time, using e.g. the SHA512 of the expression evaluated.<br></div><div><div><br></div></div><div>Therefore you could change a single function in a library and it would only re-run the tests that are actually affected, rather than running all the tests in the whole module, and rather than the more typical approach which is running ALL tests in a test suite just because one thing changed.<br></div><div><br></div><div>If you can couple tests with code then you can avoid the decoupling of code from the tests.<br></div><div><br></div><div>== Implementation approaches ==<br></div><div><br></div><div>There are various ways to implement this with varying degrees of satisfaction:<br></div><div><br></div><div>1. Use TH: reify declarations, inspect the AST, and produce a SHA512. Use ambient values such as the GHC version, instances in scope, extensions, ghc options, etc. With TH, I'm confident that you can only achieve an imperfect hash because I doubt that all information is available to TH.<br></div><div><br></div><div>Names that come from external packages could be treated as CAS'd at the scope of the package's installed hash. Ideally, you could have granularity into other packages. But it's not a necessity if you just want caching for your current development package.</div><div><br></div><div>2. Use a source plugin. A source plugin is already capable of accessing all GHC context information, so this might lead to more of a perfect hash.<br></div><div><br></div><div>3. Add it to GHC directly. Exposing a `expressionSHA512 :: Exp -> ByteString` could be one imaginary way to access this information. With such a function you could implement caching of fine-grained tests.<br></div><div><br></div><div>A related discussion is the deterministic builds: <a href="https://gitlab.haskell.org/ghc/ghc/wikis/deterministic-builds" target="_blank">https://gitlab.haskell.org/ghc/ghc/wikis/deterministic-builds</a><br></div><div><br></div><div>Anyone else exploring this?</div><div><br></div><div>Cheers,<br></div><div><br></div><div>Chris</div><div><br></div><div><br></div><div><br></div></div><div><br></div></div>_______________________________________________<br>
Haskell-Cafe mailing list<br>
To (un)subscribe, modify options or view archives go to:<br>
<a href="http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe" rel="noreferrer" target="_blank">http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe</a><br>
Only members subscribed via the mailman list are allowed to post.</blockquote></div>
_______________________________________________<br>
Haskell-Cafe mailing list<br>
To (un)subscribe, modify options or view archives go to:<br>
<a href="http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe" rel="noreferrer" target="_blank">http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe</a><br>
Only members subscribed via the mailman list are allowed to post.</blockquote></div>