<div dir="ltr"><div>Aha: while i386-linux-deb9-validate sets no extra XZ options, <b>nightly</b>-i386-linux-deb9-validate (the failing job) sets "XZ_OPT = 9".<br></div><div><br></div><div>A revert would fix the problem, but presumably so would tweaking that option. Does anyone have information that would lead to a better decision here? <br></div><div><br></div><div><br></div><div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Sep 28, 2022 at 2:02 PM Cheng Shao <<a href="mailto:cheng.shao@tweag.io">cheng.shao@tweag.io</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Sure, in which case pls revert it. Apologies for the impact, though<br>
I'm still a bit curious, the i386 job did pass in the original MR.<br>
<br>
On Wed, Sep 28, 2022 at 1:00 PM Bryan Richter <bryan@haskell.foundation> wrote:<br>
><br>
> Yep, it seems to mostly be xz that is running out of memory. (All recent builds that I sampled, but not all builds through all time.) Thanks for pointing it out!<br>
><br>
> I can revert the change.<br>
><br>
> On Wed, Sep 28, 2022 at 11:46 AM Cheng Shao <<a href="mailto:cheng.shao@tweag.io" target="_blank">cheng.shao@tweag.io</a>> wrote:<br>
>><br>
>> Hi Bryan,<br>
>><br>
>> This may be an unintended fallout of !8940. Would you try starting an<br>
>> i386 pipeline with it reversed to see if it solves the issue, in which<br>
>> case we should revert or fix it in master?<br>
>><br>
>> On Wed, Sep 28, 2022 at 9:58 AM Bryan Richter via ghc-devs<br>
>> <<a href="mailto:ghc-devs@haskell.org" target="_blank">ghc-devs@haskell.org</a>> wrote:<br>
>> ><br>
>> > Hi all,<br>
>> ><br>
>> > For the past week or so, nightly-i386-linux-deb9-validate has been failing consistently.<br>
>> ><br>
>> > They show up on the failure dashboard because the logs contain the phrase "Cannot allocate memory".<br>
>> ><br>
>> > I haven't looked yet to see if they always fail in the same place, but I'll do that soon. The first example I looked at, however, has the line "xz: (stdin): Cannot allocate memory", so it's not GHC (alone) causing the problem.<br>
>> ><br>
>> > As a consequence of showing up on the dashboard, the jobs get restarted. Since they fail consistently, they keep getting restarted. Since the jobs keep getting restarted, the pipelines stay alive. When I checked just now, there were 8 nightly runs still running. :) Thus I'm going to cancel the still-running nightly-i386-linux-deb9-validate jobs and let the pipelines die in peace. You can still find all examples of failed jobs on the dashboard:<br>
>> ><br>
>> > <a href="https://grafana.gitlab.haskell.org/d/167r9v6nk/ci-spurious-failures?orgId=2&from=now-90d&to=now&refresh=5m&var-types=cannot_allocate" rel="noreferrer" target="_blank">https://grafana.gitlab.haskell.org/d/167r9v6nk/ci-spurious-failures?orgId=2&from=now-90d&to=now&refresh=5m&var-types=cannot_allocate</a><br>
>> ><br>
>> > To prevent future problems, it would be good if someone could help me look into this. Otherwise I'll just disable the job. :(<br>
>> > _______________________________________________<br>
>> > ghc-devs mailing list<br>
>> > <a href="mailto:ghc-devs@haskell.org" target="_blank">ghc-devs@haskell.org</a><br>
>> > <a href="http://mail.haskell.org/cgi-bin/mailman/listinfo/ghc-devs" rel="noreferrer" target="_blank">http://mail.haskell.org/cgi-bin/mailman/listinfo/ghc-devs</a><br>
</blockquote></div></div></div>