在使用Python编写蜘蛛爬取数据时,偶尔也有失败的,其中有种失败的情况就是目标站使用coludflare cdn,爬取数据时总是返回400 bad request。
今天我就详细的给大家讲解一下如何突破cloudflare cdn反爬。
第一步:安装所需pytho库:pip install cfscrape
第二步:处理get请求
import cfscrape #实例话一个CloudflareScraper对象 scraper=cfscrape.create_scraper() # 或者scraper=cfscrape.CloudflareScraper()也可以 # 如果出现错误可以加个延迟 # scraper = cfscrape.create_scraper(delay=10) # 获取真实网页源代码 web_data=scraper.get('http://yourwebsite.com').content
第三步:处理post请求
import cfscrape #实例话一个CloudflareScraper对象 scraper=cfscrape.create_scraper() # 或者scraper=cfscrape.CloudflareScraper()也可以 # 如果出现错误可以加个延迟 # scraper = cfscrape.create_scraper(delay=10) # 获取真实网页源代码 web_data=scraper.post('http://yourwebsite.com').content
- 本文固定链接: http://jingyan.idoubi.net/4217.html
- 转载请注明: 游戏创作者大陆 于 逗分享开发经验 发表