<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On 12 May 2017 at 09:27, Arjen <span dir="ltr"><<a href="mailto:arjenvanweelden@gmail.com" target="_blank">arjenvanweelden@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="gmail-HOEnZb"><div class="gmail-h5"><br>
</div></div>Maybe this is a silly question, and please let me know why if so, but:<br>
<br>
Has anyone thought about parallelizing it for multiple messages in<br>
order to "produce garbage faster"? While reducing allocation will make<br>
the single validations faster, doing multiple ones might improve the<br>
throughput per GC ratio. This assumes that the amount of live data in<br>
the heap is small, making GC sort of constant time, and having multiple<br>
cores available.<br></blockquote><div><br></div><div>Not a silly question at all. Adding the following incantation:</div><div><br></div><div>    `using` parListChunk 100 rseq</div><div><br></div><div>does quite happily spread things across all 4 cores on my development machine, and it's certainly a bit faster. To give some stats, it processes ~24 events between GCs rather than ~6, and collects ~2MB rather than ~500kB. The throughput becomes a lot less consistent, however, at least partly due to some bigger GC pauses along the way. As Ben's statistics showed, our allocation rate on one thread is around 4TBps, which is already stressing the GC out a bit, and parallelising it doesn't make that problem any easier.</div><div><br></div><div>I know in the OP I said "we have a stream" (accidental MLK misquote) but in fact there are a bunch of parallel streams whose number exceeds the number of available cores, so we don't anticipate any enormous benefit from spreading the processing of any one stream across multiple cores: single-threaded performance is what we think we should be concentrating on.</div><div><br></div><div>Cheers,</div><div><br></div><div>David</div><div><br></div><div><br></div><div><br></div></div></div></div>