Skip to content

xiaLotus/69-book-store-web-crawler

Repository files navigation

69-book-store-web-crawler

69書吧爬蟲

origin.py可以使用,不過爬下來是原始檔。

如果不想使用原始檔自己再做分割,那就使用download.py 使用aiohttpasyncio打造的非同步網頁爬蟲。 Alt text

目前打算找時間放入機器人內。 discord server: https://discord.gg/nh4SscAVXQ

更: 測試結果,程式碼在上面自己可以改改看。 aiohttp-download.py 大概是 20s Alt text

thread_craw.py大概是 72s Alt text

pool_thread.py使用了concurrent.futures後,還是略輸aiohttp Alt text

查閱資料與商討來源:

  1. chatgpt
  2. [Python爬蟲教學]整合asyncio與aiohttp打造Python非同步網頁爬蟲

copyright © xiaLotus corporation, all rights reserved.

About

69書吧爬蟲

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages