spider
| 名称 | 链接 | 说明 |
|---|---|---|
| httpbin.org | 链接 | 靶机 |
| Playwright | 链接 | 动态渲染 JS |
| GerapyPlaywright | 链接 | Playwright in Scrapy |
| Gerapy | 链接 | Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Scrapyd-Client, Scrapyd-API, Django and Vue.js etd. |
| scrapy cookies | 链接 | 将cookies存文件 |
| py import | 链接 | import 疑难杂症 |
| 反爬 | 外部链接 | web 端 |
| acrawler.js反爬加密 | 掘金每日签到用到了 | 链接 |
| mitmporxy安装及使用教程 | 链接 | 安装和使用 |
| splash-docs | 链接 | 官网 |
| splash-scrapy | link | scrapy-splash; 但有个engine=chromium无法填充的bug issue，会导致有些场景渲染失败 |
| json2proto | 链接 | json 转化成 proto 文件格式 |
| 极验 | 链接 | 多种验证码形式 |
| webpack+vue3 | 链接 | 教程不错，webpack4→webpack5需要把 contentBase改成static |
| php框架 | 链接 | 看似不错哟 |
| 《Python3 反爬虫原理与绕过实战》配套练习平台 | 链接 | 《Python3 反爬虫原理与绕过实战》配套练习平台 |
| django教程 | link | 官方教程 |
接口不支持幂等，就会被薅到羊毛