侧边栏
python:spider
这是本文档旧的修订版！
spider
| 名称 | 链接 | 说明 |
|---|---|---|
| httpbin.org | 链接 | 靶机 |
| Playwright | 链接 | 动态渲染 JS |
| GerapyPlaywright | 链接 | Playwright in Scrapy |
| Gerapy | 链接 | Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Scrapyd-Client, Scrapyd-API, Django and Vue.js etd. |
| scrapy cookies | 链接 | 将cookies存文件 |
| py import | 链接 | import 疑难杂症 |
| 反爬 | 外部链接 | web 端 |
| acrawler.js反爬加密 | 掘金每日签到用到了 | 链接 |
| mitmporxy安装及使用教程 | 链接 | 安装和使用 |
| splash-docs | 链接 | 官网 |
| splash-scrapy | link | scrapy-splash; 但有个engine=chromium无法填充的bug issue，会导致有些场景渲染失败 |
| json2proto | 链接 | json 转化成 proto 文件格式 |
| 极验 | 链接 | 多种验证码形式 |
| webpack+vue3 | 链接 | 教程不错，webpack4→webpack5需要把 contentBase改成static |
在 console 注入 jquery
var importJs=document.createElement('script');importJs.setAttribute("type","text/javascript");importJs.setAttribute("src", 'https://ajax.microsoft.com/ajax/jquery/jquery-1.7.min.js');document.getElementsByTagName("head")[0].appendChild(importJs);
提取数组中的 href
$('section a').each(function(index){
console.log($(this).attr("href"));
})
修改页面时间
var d = new Date();d.setHours(5);console.log(d);
接口不支持幂等，就会被薅到羊毛
python/spider.1666865749.txt.gz · 最后更改: 2022/10/27 18:15 由 admin
除额外注明的地方外，本维基上的内容按下列许可协议发布： GNU Free Documentation License 1.3
