-
Notifications
You must be signed in to change notification settings - Fork 26
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Can’t run CoQa train script in Google Colab #89
Comments
this might be related to issue you're discussing in #79 |
Have you also experienced this bug (infinite loop somewhere in the code) ? |
Actually, I can't reproduce the issue you and @abhishek-jha13 reported |
Have you tried running it using Google Colab notebook?
https://github.com/imagine3D-ai/XLNET-TESTS/blob/master/XLNET_COQA%20(1).ipynb
…On Thu, 10 Sep 2020 at 20:31, Xiaoming ***@***.***> wrote:
this might be related to issue you're discussing in #
this might be related to issue you're discussing in #79
<#79>
Have you also experienced this bug (infinite loop somewhere in the code) ?
Actually, I can't reproduce the issue you and @abhishek-jha13
<https://github.com/abhishek-jha13> reported
—
You are receiving this because you authored the thread.
Reply to this email directly, view it on GitHub
<#89 (comment)>,
or unsubscribe
<https://github.com/notifications/unsubscribe-auth/AQQZJ3GNNZI4TAN3JUA4S5LSFELP5ANCNFSM4RAIVLPQ>
.
|
Could you reproduce the issue locally? Since it might not be specific for
colab
On Thu, Sep 10, 2020 at 11:37 AM imagine3D-ai <[email protected]>
wrote:
Have you tried running it using Google Colab notebook?
https://github.com/imagine3D-ai/XLNET-TESTS/blob/master/XLNET_COQA%20(1).ipynb
On Thu, 10 Sep 2020 at 20:31, Xiaoming ***@***.***> wrote:
>
>
>
>
>
>
> this might be related to issue you're discussing in #
>
>
>
>
>
>
> this might be related to issue you're discussing in #79
> <#79>
>
>
>
>
> Have you also experienced this bug (infinite loop somewhere in the code)
?
>
>
>
>
> Actually, I can't reproduce the issue you and @abhishek-jha13
> <https://github.com/abhishek-jha13> reported
>
>
>
>
> —
> You are receiving this because you authored the thread.
> Reply to this email directly, view it on GitHub
> <
#89 (comment)
>,
> or unsubscribe
> <
https://github.com/notifications/unsubscribe-auth/AQQZJ3GNNZI4TAN3JUA4S5LSFELP5ANCNFSM4RAIVLPQ
>
> .
>
>
>
—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub
<#89 (comment)>,
or unsubscribe
<https://github.com/notifications/unsubscribe-auth/ABYXYMYIJ2ODNVPECYGWWFDSFEMGLANCNFSM4RAIVLPQ>
.
--
Best,
Mingzhi
|
My local machine is very unimpressive. Only about 4GB RAM. I don’t think it
will manage to run the code. I tried to use Colab to get more RAM. Could it
be that the machines i tried simply weren’t powerful enough?
…On Thu, 10 Sep 2020 at 20:43, Xiaoming ***@***.***> wrote:
Could you reproduce the issue locally? Since it might not be specific for
colab
On Thu, Sep 10, 2020 at 11:37 AM imagine3D-ai ***@***.***>
wrote:
>
>
>
> Have you tried running it using Google Colab notebook?
>
>
>
>
>
https://github.com/imagine3D-ai/XLNET-TESTS/blob/master/XLNET_COQA%20(1).ipynb
>
>
>
>
>
>
>
>
>
>
>
> On Thu, 10 Sep 2020 at 20:31, Xiaoming ***@***.***> wrote:
>
>
>
>
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > this might be related to issue you're discussing in #
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > this might be related to issue you're discussing in #79
>
>
>
> > <#79>
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > Have you also experienced this bug (infinite loop somewhere in the
code)
> ?
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > Actually, I can't reproduce the issue you and @abhishek-jha13
>
>
>
> > <https://github.com/abhishek-jha13> reported
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > —
>
>
>
> > You are receiving this because you authored the thread.
>
>
>
> > Reply to this email directly, view it on GitHub
>
>
>
> > <
>
#89 (comment)
> >,
>
>
>
> > or unsubscribe
>
>
>
> > <
>
https://github.com/notifications/unsubscribe-auth/AQQZJ3GNNZI4TAN3JUA4S5LSFELP5ANCNFSM4RAIVLPQ
> >
>
>
>
> > .
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
>
>
>
>
>
>
> —
> You are receiving this because you commented.
>
>
> Reply to this email directly, view it on GitHub
> <
#89 (comment)
>,
> or unsubscribe
> <
https://github.com/notifications/unsubscribe-auth/ABYXYMYIJ2ODNVPECYGWWFDSFEMGLANCNFSM4RAIVLPQ
>
> .
>
>
>
> --
Best,
Mingzhi
—
You are receiving this because you authored the thread.
Reply to this email directly, view it on GitHub
<#89 (comment)>,
or unsubscribe
<https://github.com/notifications/unsubscribe-auth/AQQZJ3CKNOZNXQXRDKRKY3DSFEM5ZANCNFSM4RAIVLPQ>
.
|
You can also try to train the model on CPU and see if it still crash
On Thu, Sep 10, 2020 at 11:47 AM imagine3D-ai <[email protected]>
wrote:
My local machine is very unimpressive. Only about 4GB RAM. I don’t think it
will manage to run the code. I tried to use Colab to get more RAM. Could it
be that the machines i tried simply weren’t powerful enough?
On Thu, 10 Sep 2020 at 20:43, Xiaoming ***@***.***> wrote:
>
>
>
> Could you reproduce the issue locally? Since it might not be specific for
>
>
>
> colab
>
>
>
>
>
>
>
> On Thu, Sep 10, 2020 at 11:37 AM imagine3D-ai ***@***.***>
>
>
>
> wrote:
>
>
>
>
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > Have you tried running it using Google Colab notebook?
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
https://github.com/imagine3D-ai/XLNET-TESTS/blob/master/XLNET_COQA%20(1).ipynb
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > On Thu, 10 Sep 2020 at 20:31, Xiaoming ***@***.***>
wrote:
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > this might be related to issue you're discussing in #
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > this might be related to issue you're discussing in #79
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > <#79>
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > Have you also experienced this bug (infinite loop somewhere in the
> code)
>
>
>
> > ?
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > Actually, I can't reproduce the issue you and @abhishek-jha13
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > <https://github.com/abhishek-jha13> reported
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > —
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > You are receiving this because you authored the thread.
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > Reply to this email directly, view it on GitHub
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > <
>
>
>
> >
>
#89 (comment)
>
>
>
> > >,
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > or unsubscribe
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > <
>
>
>
> >
>
https://github.com/notifications/unsubscribe-auth/AQQZJ3GNNZI4TAN3JUA4S5LSFELP5ANCNFSM4RAIVLPQ
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > .
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > —
>
>
>
> > You are receiving this because you commented.
>
>
>
> >
>
>
>
> >
>
>
>
> > Reply to this email directly, view it on GitHub
>
>
>
> > <
>
#89 (comment)
> >,
>
>
>
> > or unsubscribe
>
>
>
> > <
>
https://github.com/notifications/unsubscribe-auth/ABYXYMYIJ2ODNVPECYGWWFDSFEMGLANCNFSM4RAIVLPQ
> >
>
>
>
> > .
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > --
>
>
>
> Best,
>
>
>
> Mingzhi
>
>
>
>
>
>
>
>
>
> —
> You are receiving this because you authored the thread.
> Reply to this email directly, view it on GitHub
> <
#89 (comment)
>,
> or unsubscribe
> <
https://github.com/notifications/unsubscribe-auth/AQQZJ3CKNOZNXQXRDKRKY3DSFEM5ZANCNFSM4RAIVLPQ
>
> .
>
>
>
>
—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub
<#89 (comment)>,
or unsubscribe
<https://github.com/notifications/unsubscribe-auth/ABYXYM7KS57PWIR4EGJDSDTSFENK7ANCNFSM4RAIVLPQ>
.
--
Best,
Mingzhi
|
It does. I think the issue is not enough RAM. How much RAM did your machine
have?
…On Thu, 10 Sep 2020 at 22:43, Xiaoming ***@***.***> wrote:
You can also try to train the model on CPU and see if it still crash
On Thu, Sep 10, 2020 at 11:47 AM imagine3D-ai ***@***.***>
wrote:
>
>
>
> My local machine is very unimpressive. Only about 4GB RAM. I don’t think
it
>
>
>
> will manage to run the code. I tried to use Colab to get more RAM. Could
it
>
>
>
> be that the machines i tried simply weren’t powerful enough?
>
>
>
>
>
>
>
> On Thu, 10 Sep 2020 at 20:43, Xiaoming ***@***.***> wrote:
>
>
>
>
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > Could you reproduce the issue locally? Since it might not be specific
for
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > colab
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > On Thu, Sep 10, 2020 at 11:37 AM imagine3D-ai <
***@***.***>
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > wrote:
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > Have you tried running it using Google Colab notebook?
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
https://github.com/imagine3D-ai/XLNET-TESTS/blob/master/XLNET_COQA%20(1).ipynb
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > On Thu, 10 Sep 2020 at 20:31, Xiaoming ***@***.***>
> wrote:
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > this might be related to issue you're discussing in #
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > this might be related to issue you're discussing in #79
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > <#79>
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > Have you also experienced this bug (infinite loop somewhere in the
>
>
>
> > code)
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > ?
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > Actually, I can't reproduce the issue you and @abhishek-jha13
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > <https://github.com/abhishek-jha13> reported
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > —
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > You are receiving this because you authored the thread.
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > Reply to this email directly, view it on GitHub
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > <
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
#89 (comment)
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >,
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > or unsubscribe
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > <
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
https://github.com/notifications/unsubscribe-auth/AQQZJ3GNNZI4TAN3JUA4S5LSFELP5ANCNFSM4RAIVLPQ
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > .
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > —
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > You are receiving this because you commented.
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > Reply to this email directly, view it on GitHub
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > <
>
>
>
> >
>
#89 (comment)
>
>
>
> > >,
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > or unsubscribe
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > <
>
>
>
> >
>
https://github.com/notifications/unsubscribe-auth/ABYXYMYIJ2ODNVPECYGWWFDSFEMGLANCNFSM4RAIVLPQ
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > .
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > --
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > Best,
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > Mingzhi
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > —
>
>
>
> > You are receiving this because you authored the thread.
>
>
>
> > Reply to this email directly, view it on GitHub
>
>
>
> > <
>
#89 (comment)
> >,
>
>
>
> > or unsubscribe
>
>
>
> > <
>
https://github.com/notifications/unsubscribe-auth/AQQZJ3CKNOZNXQXRDKRKY3DSFEM5ZANCNFSM4RAIVLPQ
> >
>
>
>
> > .
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
>
>
>
>
>
>
> —
> You are receiving this because you commented.
>
>
> Reply to this email directly, view it on GitHub
> <
#89 (comment)
>,
> or unsubscribe
> <
https://github.com/notifications/unsubscribe-auth/ABYXYM7KS57PWIR4EGJDSDTSFENK7ANCNFSM4RAIVLPQ
>
> .
>
>
>
> --
Best,
Mingzhi
—
You are receiving this because you authored the thread.
Reply to this email directly, view it on GitHub
<#89 (comment)>,
or unsubscribe
<https://github.com/notifications/unsubscribe-auth/AQQZJ3BRKJY3N3BN4AFJVG3SFE255ANCNFSM4RAIVLPQ>
.
|
normally, 4 x 32G GPU memory, you can try base model and use small batch
size, and see how it works
On Fri, Sep 11, 2020 at 9:09 AM imagine3D-ai <[email protected]>
wrote:
…
It does. I think the issue is not enough RAM. How much RAM did your machine
have?
On Thu, 10 Sep 2020 at 22:43, Xiaoming ***@***.***> wrote:
>
>
>
> You can also try to train the model on CPU and see if it still crash
>
>
>
>
>
>
>
> On Thu, Sep 10, 2020 at 11:47 AM imagine3D-ai ***@***.***>
>
>
>
> wrote:
>
>
>
>
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > My local machine is very unimpressive. Only about 4GB RAM. I don’t
think
> it
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > will manage to run the code. I tried to use Colab to get more RAM.
Could
> it
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > be that the machines i tried simply weren’t powerful enough?
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > On Thu, 10 Sep 2020 at 20:43, Xiaoming ***@***.***>
wrote:
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > Could you reproduce the issue locally? Since it might not be specific
> for
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > colab
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > On Thu, Sep 10, 2020 at 11:37 AM imagine3D-ai <
> ***@***.***>
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > wrote:
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > Have you tried running it using Google Colab notebook?
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
https://github.com/imagine3D-ai/XLNET-TESTS/blob/master/XLNET_COQA%20(1).ipynb
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > On Thu, 10 Sep 2020 at 20:31, Xiaoming ***@***.***>
>
>
>
> > wrote:
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > > this might be related to issue you're discussing in #
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > > this might be related to issue you're discussing in #79
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > > > > <#79>
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
>
> >
>
>
>
> >
>
>
>
> > >
>
>
>
> >
>
>
|
Is max_sequence_length measured in characters or in words? |
should be subwords |
Hi together I had the same problem. The issue is in convert_coqa_example. The while loop in line 818 run_coqa.py becomes an endless loop if max_sequence_length is 128. |
Thanks for the debugging!
Yes, the max_seq_length should be larger than max_query_length + 3, let me
add the parameter constraints later.
On Thu, Apr 22, 2021 at 3:34 PM Stefan Fuchs ***@***.***> wrote:
Hi together
I had the same problem. The issue is in convert_coqa_example. The while
loop in line 818 run_coqa.py becomes an endless loop if max_sequence_length
is 128.
The training data sample 244 has a query length of 128. Accordingly, the
following line
max_para_length = self.max_seq_length - len(query_tokens) - 3
ends up producing a max_para_length of -3 and the sliding_window_approach
stops working.
My simple solution was to increase the max_para_length to 256.
—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub
<#89 (comment)>,
or unsubscribe
<https://github.com/notifications/unsubscribe-auth/ABYXYM2BBGPL5PFEFXTRUA3TKCP77ANCNFSM4RAIVLPQ>
.
--
Best,
Mingzhi
|
I tried using Google Colab CPU and GPU notebooks to train XLNET on COQA, but they keep crashing because of the ’out-of-memory’ issues. I tried reducing batch size to 1, but the problem still persists. Did anyone else face similar issues and was able to solve it?
The text was updated successfully, but these errors were encountered: