设为首页收藏本站

EPS数据狗论坛

搜索
快捷导航
查看: 462|回复: 2

[其他] 解决封IP策略

  [复制链接]

7

主题

88

金钱

130

积分

入门用户

发表于 2019-11-1 16:35:13 | 显示全部楼层 |阅读模式
现在爬虫越来越火,大到征信,小到房产信息,汽车,身边的所有生活都于爬虫相关。随着爬虫越来越强,反爬虫的技术也越来越先进.出现了各种各样的验证码,以前还只是数字类,后来图片类,最变态是12306的图片,人工都只有50%机率.当然反爬最牛的还是封锁IP.同一个IP如果爬取过快或过多,机器就判断你是爬虫,而不是正常访问.
那么有没有办法防止被反爬呢:
目前最有效的就二种方法.
A.放慢你的脚步,设延时.不要一个月干的事情,你一天干完.
b.当然就是使用代理ip
第一个就是时间和速度会拉长,来爬数据,对于个人或学校等挺适合.但对于公司来说,时间成本才是最贵的.那有没有在最快的速度最快的时间内,可以爬取到你想要的数据呢.答案就是第二种方式,使用代理ip.亿牛云代理专为爬虫而生的代理,使用最先进的云代理技术,所有的请求走一个请求ip.一天提供不重复ip已经达到了100万.

7

主题

641

金钱

2765

积分

中级用户

发表于 2019-12-30 21:38:07 | 显示全部楼层
ximenyan
回复

使用道具 举报

7

主题

641

金钱

2765

积分

中级用户

发表于 2019-12-30 21:38:46 | 显示全部楼层
赞一个,谢谢
ximenyan
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

客服中心
关闭
在线时间:
周一~周五
9:00-18:00
QQ群:
542280196
联系电话:
010-85786021-8014
在线咨询
客服中心

Powered by BFIT! X3.2© 2008-2018 BFIT Inc.

快速回复 返回顶部 返回列表