<div dir="ltr"><div><div>Hello Lyndon,<br><br></div>Glad to hear this is of interest to you. Let us know if you have any kind of feedback -- just keep in mind we only cover a ridiculous fraction of the Spark API at the moment, but this can easily be expanded. The implementation of the Spark classes/methods that we have can be a guide for implementing ones that are not there yet.<br><br></div>Regarding data frames, well, as a haskeller, Spark's data frame impl feels a bit unsafe to me as the type (which is just 'DataFrame') doesn't indicate how many columns there are or what type the values stored in those columns have. But Spark provides a bunch of algorithms that use those data frames so if you happen to need one of those algorithms, you can quickly expose it to Haskell and then wrap it all in a type-safe and haskell-y way once you've made sure everything works. This all means that, at the moment, sparkle doesn't do anything smart there. If you have any idea/suggestion, we're all ears though!<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Feb 26, 2016 at 12:56 AM, Lyndon Maydwell <span dir="ltr"><<a href="mailto:maydwell@gmail.com" target="_blank">maydwell@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Alp,<div><br></div><div><br></div><div>Just wanted to say that there's interest here in Melbourne in Spark+Haskell too and we'll definitely be trying this out to see what it's like.</div><div><br></div><div>One of the problems that some of the more exotic language-bindings to spark have is that while they include RDD support, they lack a language-idiomatic interpretation of DataFrames. Does Sparkle attempt to tackle this?</div><div><br></div><div><br></div><div>Many thanks to <span style="font-size:12.8px">Tweag </span><span style="font-size:12.8px">I/O</span><span style="font-size:12.8px"> for doing this. It must have been a lot of work!</span></div><div><br></div><div><br></div><div>Regards,</div><div><br></div><div> - Lyndon </div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Fri, Feb 26, 2016 at 4:50 AM, Alp Mestanogullari <span dir="ltr"><<a href="mailto:alpmestan@gmail.com" target="_blank">alpmestan@gmail.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5"><div dir="ltr"><div><div><div><div><div>Hello -cafe!<br><br></div>Recently at Tweag I/O we've been working on sparkle, a library for writing (distributed) Apache Spark applications directly in Haskell!<br><br></div>We have published a blog post introducing the project (and some of its challenges) here: <a href="http://www.tweag.io/blog/haskell-meets-large-scale-distributed-analytics" target="_blank">http://www.tweag.io/blog/haskell-meets-large-scale-distributed-analytics</a><br><br></div>The corresponding repository lives at <a href="https://github.com/tweag/sparkle" target="_blank">https://github.com/tweag/sparkle</a><br><br></div>While this is still early stage work, we can already write non-trivial Spark applications in Haskell and have them run accross an entire cluster. We obviously do not cover the whole Spark API yet (very, very far from that) but would be glad to already get some feedback.<br><br></div>Cheers<span><font color="#888888"><br clear="all"><div><div><div><div><div><div><div><div><div><div><br>-- <br><div>Alp Mestanogullari</div>
</div></div></div></div></div></div></div></div></div></div></font></span></div>
<br></div></div><span class="">_______________________________________________<br>
Haskell-Cafe mailing list<br>
<a href="mailto:Haskell-Cafe@haskell.org" target="_blank">Haskell-Cafe@haskell.org</a><br>
<a href="http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe" rel="noreferrer" target="_blank">http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe</a><br>
<br></span></blockquote></div><br></div>
</blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature">Alp Mestanogullari</div>
</div>