69書吧爬蟲
origin.py可以使用,不過爬下來是原始檔。
如果不想使用原始檔自己再做分割,那就使用download.py
使用aiohttp
與asyncio
打造的非同步網頁爬蟲。
目前打算找時間放入機器人內。 discord server: https://discord.gg/nh4SscAVXQ
更:
測試結果,程式碼在上面自己可以改改看。
aiohttp-download.py 大概是 20s
pool_thread.py使用了concurrent.futures
後,還是略輸aiohttp
查閱資料與商討來源:
copyright © xiaLotus corporation, all rights reserved.