<div dir="ltr">Matthew pointed out that the build system already parallelizes jobs, so it's risky to force parallelization of any individual job. That means I should just revert.<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Sep 28, 2022 at 2:38 PM Cheng Shao <<a href="mailto:cheng.shao@tweag.io">cheng.shao@tweag.io</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I believe we can either modify ci.sh to disable parallel compression<br>
for i386, or modify .gitlab/gen_ci.hs and .gitlab/jobs.yaml to disable<br>
XZ_OPT=-9 for i386.<br>
<br>
On Wed, Sep 28, 2022 at 1:21 PM Bryan Richter <bryan@haskell.foundation> wrote:<br>
><br>
> Aha: while i386-linux-deb9-validate sets no extra XZ options, nightly-i386-linux-deb9-validate (the failing job) sets "XZ_OPT = 9".<br>
><br>
> A revert would fix the problem, but presumably so would tweaking that option. Does anyone have information that would lead to a better decision here?<br>
><br>
><br>
> On Wed, Sep 28, 2022 at 2:02 PM Cheng Shao <<a href="mailto:cheng.shao@tweag.io" target="_blank">cheng.shao@tweag.io</a>> wrote:<br>
>><br>
>> Sure, in which case pls revert it. Apologies for the impact, though<br>
>> I'm still a bit curious, the i386 job did pass in the original MR.<br>
>><br>
>> On Wed, Sep 28, 2022 at 1:00 PM Bryan Richter <bryan@haskell.foundation> wrote:<br>
>> ><br>
>> > Yep, it seems to mostly be xz that is running out of memory. (All recent builds that I sampled, but not all builds through all time.) Thanks for pointing it out!<br>
>> ><br>
>> > I can revert the change.<br>
>> ><br>
>> > On Wed, Sep 28, 2022 at 11:46 AM Cheng Shao <<a href="mailto:cheng.shao@tweag.io" target="_blank">cheng.shao@tweag.io</a>> wrote:<br>
>> >><br>
>> >> Hi Bryan,<br>
>> >><br>
>> >> This may be an unintended fallout of !8940. Would you try starting an<br>
>> >> i386 pipeline with it reversed to see if it solves the issue, in which<br>
>> >> case we should revert or fix it in master?<br>
>> >><br>
>> >> On Wed, Sep 28, 2022 at 9:58 AM Bryan Richter via ghc-devs<br>
>> >> <<a href="mailto:ghc-devs@haskell.org" target="_blank">ghc-devs@haskell.org</a>> wrote:<br>
>> >> ><br>
>> >> > Hi all,<br>
>> >> ><br>
>> >> > For the past week or so, nightly-i386-linux-deb9-validate has been failing consistently.<br>
>> >> ><br>
>> >> > They show up on the failure dashboard because the logs contain the phrase "Cannot allocate memory".<br>
>> >> ><br>
>> >> > I haven't looked yet to see if they always fail in the same place, but I'll do that soon. The first example I looked at, however, has the line "xz: (stdin): Cannot allocate memory", so it's not GHC (alone) causing the problem.<br>
>> >> ><br>
>> >> > As a consequence of showing up on the dashboard, the jobs get restarted. Since they fail consistently, they keep getting restarted. Since the jobs keep getting restarted, the pipelines stay alive. When I checked just now, there were 8 nightly runs still running. :) Thus I'm going to cancel the still-running nightly-i386-linux-deb9-validate jobs and let the pipelines die in peace. You can still find all examples of failed jobs on the dashboard:<br>
>> >> ><br>
>> >> > <a href="https://grafana.gitlab.haskell.org/d/167r9v6nk/ci-spurious-failures?orgId=2&from=now-90d&to=now&refresh=5m&var-types=cannot_allocate" rel="noreferrer" target="_blank">https://grafana.gitlab.haskell.org/d/167r9v6nk/ci-spurious-failures?orgId=2&from=now-90d&to=now&refresh=5m&var-types=cannot_allocate</a><br>
>> >> ><br>
>> >> > To prevent future problems, it would be good if someone could help me look into this. Otherwise I'll just disable the job. :(<br>
>> >> > _______________________________________________<br>
>> >> > ghc-devs mailing list<br>
>> >> > <a href="mailto:ghc-devs@haskell.org" target="_blank">ghc-devs@haskell.org</a><br>
>> >> > <a href="http://mail.haskell.org/cgi-bin/mailman/listinfo/ghc-devs" rel="noreferrer" target="_blank">http://mail.haskell.org/cgi-bin/mailman/listinfo/ghc-devs</a><br>
</blockquote></div>