Scrapy爬虫返回403错误的解决方法

作者 : 小优 本文共637个字,预计阅读时间需要2分钟 发布时间: 2022-06-21 共202人阅读

今天在用scrapy爬取某网站时时,出现了403的错误,如下所示:

出现这个问题的原因其实是你所爬的网站使用了反爬机制,即会检查用户代理(User Agent)信息 ,此时需要在爬虫文件中设置headers。

解决方法:
如下,在你的爬虫文件中加入以下代码:

def start_requests(self):
yield Request("http://www.douban.com/",
headers={'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"})

如果采取了上述方法仍未解决的话,则可以尝试在你的setting.py文件中增加USER_AGENT配置:在setting.py中找到USER_AGENT的位置,将其前面的#去掉,然后将它的值改为你的User Agent信息,最终的效果如下:

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'

若经过以上操作还没有解决问题,仍出现403的错误,可能是你的ip被封了,这时候就要用到代理ip的方法的,具体如何操作就不在这里详述了,google即可。希望能给初学scrapy的小伙伴带来帮助。

资源下载说明

请使用百度网盘下载资源,请不要在线解压!

1.人民币与U币汇率为1比10,即1元=10U币.有任何疑问请联系客服处理!
2.请记住本站永久网址发布页:http://uuscw.com
3.本站资源大多存储在云盘,如发现链接失效请在下方评论留言,作者看到后会第一时间更新补链。
4.关于解压密码错误或者资源损坏,请查看解压教程:[必看]关于资源教程及常见问题
5.本站大部分资源解压密码均为: uuscw.com 如密码有误,请查看原帖的资源说明!

免责申明:
1.如果服务器暂不能下载请稍后重试!总是不能下载,请联系客服,谢谢合作!
2.本站所有资源(包括写真、模板、素材、软件、字体等)仅供学习与参考,请勿用于商业用途。
3.本站所有素材来源于用户上传和网络,如有侵权请请联系客服处理!
4.本站资源售价只是赞助,收取费用仅维持本站的日常运营所需。
UU素材网 » Scrapy爬虫返回403错误的解决方法

常见问题FAQ

免费下载或者VIP会员专享资源能否直接商用?
本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
提示下载完但解压或打开不了?
最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。 若排除这种情况,可在对应资源底部留言,或 联络我们。

发表评论