新浪微博爬虫——Selenium半自动登录解决反爬问题

这两天想用深度学习做一个短文本自动摘要的模型,于是从第一步,爬语料开始。找来找去发现新浪微博的一些新闻语料最适合用来训练,那就爬新浪微博吧。
无奈的是,新浪反爬虫做的太恶心了,遇到了以下问题。
1.模拟登陆:这个很好解决。浏览器抓包得到然后保存Cookie就能过
2.ajax页面:这个问题查看[……]

→Continue→