爬蟲 資源合集

標題分類備註
chromedpchromego寫的 chrome 支援 cdp,並發效率高
agent-browserai爬蟲vercel開源,自動化爬蟲,有skills插件
watercrawl爬蟲服務商業爬蟲
sync-your-cookie爬蟲cookie多端同步
ProxyCat代理代理自動切換,IP池
magentic-ui爬蟲整合微軟的ai模型實現自動化爬蟲與腳本執行
Scrapling爬蟲能自適應css的改變仍然能抓到內容
MediaCrawler爬蟲電商、視頻的爬蟲方案,基於playwright ,主要爬評論
camoufox反機器人爬蟲具有非常強的反機器人能力的無頭瀏覽器爬蟲,屬於定制的firefox
scrapydweb爬蟲爬蟲的集中管理
playwright_stealth插件繞過常見的一些網頁驗證
InfoSpiderpython爬蟲個人數據
scrawler爬蟲爬取國外社交網絡的圖片,只能在windows上用
scrapyd爬蟲爬蟲到守護進程
solverecaptchas爬蟲驗證碼Playwright eCAPTCHA v2
DrissionPage爬蟲國產爬蟲插件結合request和無頭瀏覽器,採用瀏覽器指紋抹除技術,支援 Linux 環境深度隱藏
grab爬蟲超級簡潔的爬蟲框架
maxun框架模擬人操作,docker部署,避免被封