设为首页收藏本站

EPS数据狗论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 3277|回复: 3

[其他] 解决封IP策略

  [复制链接]

7

主题

94

金钱

139

积分

入门用户

发表于 2019-11-1 16:35:13 | 显示全部楼层 |阅读模式
现在爬虫越来越火,大到征信,小到房产信息,汽车,身边的所有生活都于爬虫相关。随着爬虫越来越强,反爬虫的技术也越来越先进.出现了各种各样的验证码,以前还只是数字类,后来图片类,最变态是12306的图片,人工都只有50%机率.当然反爬最牛的还是封锁IP.同一个IP如果爬取过快或过多,机器就判断你是爬虫,而不是正常访问.
那么有没有办法防止被反爬呢:
目前最有效的就二种方法.
A.放慢你的脚步,设延时.不要一个月干的事情,你一天干完.
b.当然就是使用代理ip
第一个就是时间和速度会拉长,来爬数据,对于个人或学校等挺适合.但对于公司来说,时间成本才是最贵的.那有没有在最快的速度最快的时间内,可以爬取到你想要的数据呢.答案就是第二种方式,使用代理ip.亿牛云代理专为爬虫而生的代理,使用最先进的云代理技术,所有的请求走一个请求ip.一天提供不重复ip已经达到了100万.

7

主题

362

金钱

3127

积分

中级用户

发表于 2019-12-30 21:38:07 | 显示全部楼层
ximenyan
回复

使用道具 举报

7

主题

362

金钱

3127

积分

中级用户

发表于 2019-12-30 21:38:46 | 显示全部楼层
赞一个,谢谢
ximenyan
回复 支持 反对

使用道具 举报

0

主题

61

金钱

1705

积分

初级用户

发表于 2020-10-15 08:05:53 | 显示全部楼层
谢谢分享
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

客服中心
关闭
在线时间:
周一~周五
8:30-17:30
QQ群:
653541906
联系电话:
010-85786021-8017
在线咨询
客服中心

意见反馈|网站地图|手机版|小黑屋|EPS数据狗论坛 ( 京ICP备09019565号-3 )   

Powered by BFIT! X3.4

© 2008-2028 BFIT Inc.

快速回复 返回顶部 返回列表