首页 > 编程语言 > Python > 三行代码带你绕过cloudflare反爬
2019
12-08

三行代码带你绕过cloudflare反爬

在使用Python编写蜘蛛爬取数据时,偶尔也有失败的,其中有种失败的情况就是目标站使用coludflare cdn,爬取数据时总是返回400 bad request。
今天我就详细的给大家讲解一下如何突破cloudflare cdn反爬。
第一步:安装所需pytho库:pip install cfscrape
第二步:处理get请求

import cfscrape

#实例话一个CloudflareScraper对象
scraper=cfscrape.create_scraper()
# 或者scraper=cfscrape.CloudflareScraper()也可以
# 如果出现错误可以加个延迟
# scraper = cfscrape.create_scraper(delay=10)
# 获取真实网页源代码
web_data=scraper.get('http://yourwebsite.com').content

第三步:处理post请求

import cfscrape

#实例话一个CloudflareScraper对象
scraper=cfscrape.create_scraper()
# 或者scraper=cfscrape.CloudflareScraper()也可以
# 如果出现错误可以加个延迟
# scraper = cfscrape.create_scraper(delay=10)
# 获取真实网页源代码
web_data=scraper.post('http://yourwebsite.com').content
最后编辑:
作者:游戏创作者大陆

留下一个回复

你的email不会被公开。