Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Utilização do feed do site em detrimento ao webScrapper #23

Open
fersasil opened this issue Aug 11, 2020 · 4 comments
Open

Utilização do feed do site em detrimento ao webScrapper #23

fersasil opened this issue Aug 11, 2020 · 4 comments

Comments

@fersasil
Copy link
Contributor

Atualmente os dados estão sendo retirados com webScrapping do site de cc por meio desta biblioteca

Com ela é possível pegar todas as publicações do site. O @Dovyski comentou da existência de um feed, entretanto ele possui apenas 10 publicações, e não todas as publicções. Talvez haja uma limitação do número de posts que podem ser gerados?

@Dovyski
Copy link
Member

Dovyski commented Aug 11, 2020

Hum, não deveria haver essa limitação. Podemos analisar isso no próprio gerador de feed do site do cusro.

@Dovyski
Copy link
Member

Dovyski commented Aug 21, 2020

O feed do site foi atualizado. Todas as informações devem estar lá, menos os posts relacionados.

@fersasil
Copy link
Contributor Author

Eu olhei o último commit e eu acho que encontrei o problema, ele esta nessa linha aqui:
https://github.com/ccuffs/cc.uffs.edu.br/blob/97c1dca33497baa189a24f577aff6d4c44aec04a/feed.xml#L14
Aparentemente esta limitando o número de postagens a no máximo 10

@Dovyski
Copy link
Member

Dovyski commented Aug 27, 2020

O problema foi corrido. O limite de itens no feed é de 100 posts agora.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants