<div dir="ltr"><div>I'd have to see a complete repro to know why the program in question doesn't stream. But I _can_ explain how best to do something like this.</div><div><br></div><div>To frame this: why is something like ResourceT needed here? The issue is we want to ensure exception safety around the open file handle, and guarantee that the handle is closed regardless of any exceptions being thrown. ResourceT solves this problem by letting you register cleanup actions. This allows for solving some really complicated dynamic allocation problems, but for most cases it's overkill. Instead, a simple use of the bracket pattern is sufficient. You can do that with `withSourceFile`:</div><div><br></div><div>```<br></div><div>#!/usr/bin/env stack<br>-- stack --resolver lts-11.10 script<br>import Network.Wai<br>import Network.Wai.Handler.Warp<br>import Network.Wai.Conduit<br>import Network.HTTP.Types<br>import Conduit<br>import Data.ByteString.Builder (byteString)<br><br>main :: IO ()<br>main = run 3000 app<br><br>app :: Application<br>app _req respond =<br>  withSourceFile "Main.hs" $ \src -><br>  respond $ responseSource status200 []<br>          $ src .| mapC (Chunk . byteString)<br>```</div><div><br></div><div>You can also do this by sticking with ResourceT, which requires jumping through some hoops with monad transformers to ensure the original ResourceT context is used. I don't recommend this approach unless you really need it: it's complicated, and slightly slower than the above. But in case you're curious:</div><div><br></div><div>```</div><div>#!/usr/bin/env stack<br>-- stack --resolver lts-11.10 script<br>import Network.Wai<br>import Network.Wai.Handler.Warp<br>import Network.Wai.Conduit<br>import Network.HTTP.Types<br>import Conduit<br>import Data.ByteString.Builder (byteString)<br>import Control.Monad.Trans.Resource<br><br>main :: IO ()<br>main = run 3000 app<br><br>app :: Application<br>app _req respond =<br>  runResourceT $ withInternalState $ \is -><br>  respond $ responseSource status200 [] $<br>  transPipe (`runInternalState` is) (sourceFile "Main.hs") .|<br>  mapC (Chunk . byteString)<br>```<br></div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Jun 29, 2018 at 12:05 AM Jon Fairbairn <<a href="mailto:jon.fairbairn@cl.cam.ac.uk">jon.fairbairn@cl.cam.ac.uk</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Michael Snoyman <<a href="mailto:michael@snoyman.com" target="_blank">michael@snoyman.com</a>> writes:<br>
<br>
> You can use Data.Conduit.Lazy for this.<br>
<br>
Thanks. Not as straightforward as I had hoped, but I can see<br>
why.<br>
<br>
On a different note, still attempting to learn, I am trying to<br>
use Network.Wai.Conduit with a conduit that has effects (ie<br>
involves sourceFile), and so lives in (ResourceT IO). eg<br>
<br>
example:: ConduitT i (Flush Builder) (ResourceT IO) ()<br>
<br>
Now, responseSource expects IO, not ResourceT IO, so I don’t<br>
think I can use that, so I wrote this:<br>
<br>
<br>
> responseSourceRes status headers res_conduit<br>
>   = responseStream status200 headers<br>
>     (\send flush -> runConduitRes $ res_conduit<br>
>                     .| mapM_ (\e->lift $ <br>
>                                   case e of <br>
>                                     Chunk c -> send c<br>
>                                     Flush -> flush ))<br>
<br>
which runs, but (rather to my surprise) doesn’t produce output<br>
(not even headers) until all the effects have completed. That<br>
gives rise to two questions:<br>
<br>
Why does that not stream output?<br>
What should I do instead?<br>
<br>
-- <br>
Jón Fairbairn                                 <a href="mailto:Jon.Fairbairn@cl.cam.ac.uk" target="_blank">Jon.Fairbairn@cl.cam.ac.uk</a><br>
<br>
_______________________________________________<br>
Haskell-Cafe mailing list<br>
To (un)subscribe, modify options or view archives go to:<br>
<a href="http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe" rel="noreferrer" target="_blank">http://mail.haskell.org/cgi-bin/mailman/listinfo/haskell-cafe</a><br>
Only members subscribed via the mailman list are allowed to post.</blockquote></div>