号外:《黑客攻防入门学习课程》现已推出,喜欢的朋友请关注!!!

Python 爬虫代理服务器设置

python 泰泰 1688℃ 0评论

【导读】

在爬虫技术中,当需要在某一网站中爬取大量的数据时,如果至始至终都是使用同一个IP去爬取资源,久了之后就会发现爬取不了了。这是因为服务器网它“发现”客户端在“作弊”(爬虫能1s请求成百上千个页面,人只有10根手指头,能搞过来吗?服务器检测到该异常了,于是就把它卡擦掉了),于是网站服务器就屏蔽客户端请求了。那么,怎样解决这个问题呢?

解决思路非常简单,来一招“瞒天过海,暗渡陈仓”即可解决!既然服务器检测到我们的请求都来自同一个IP地址,那么我给它伪装一下,常常换IP去请求不就可以了吗,这样服务器就无法辨认了。

下面就来看看如何设置代理服务器,让代理服务器去请求需要的资源。

代理服务器如何获取?

直接百度“免费代理服务器”即可找到各种各样的资源。有付费的,也有免费的,这里筛选一些免费的,示例如下图:

proxy_server_img

一般分“国内代理服务器”和“国外代理服务器”,这需要根据目标主机所在位置进行选择,一般选择“国内”的代理服务器。

在选择代理服务器时,一般选择“验证时间”比较短的,这样的服务器请求的成功率会较大,反之可能失败!

在使用代理服务器时,主要用到的就是“代理IP地址”和“端口”这两项,其完整格式为:“IP地址:端口号”,例:121.239.51.158:3128。选好代理服务器后,接下来就是调用代码了。

调用代码

通过调用代理服务器完成爬虫对网站内容的数据爬取,代码如下:

实例输出:

200
109819

代码分析

使用 ProxyHandler() 方法设置代理服务器信息。参数是一个字典,其“键”为协议类型,“值”为代理服务器地址。可以定义”http”协议 或 “https” 等协议!(注意:这需要根据代理服务器提供的代理服务进行设置)

特别声明:其“键”值切勿写成“http://”、”https://“等格式,因为这样会产生完全不一样的效果。使用此格式时仍然是使用计算机当前的公网IP进行资源获取,而不是使用代理服务器地址,所以如果使用了该格式,后面填写的代理服务地址,不管格式是对是错,代理服务器是否可用,这都与本程序无关。

使用 build_opener() 方法创建一个自定义 opener 对象。参数1:为代理服务器信息 ;参数2:是 urllib.request.HTTPHandler 类。

使用 install_opener() 方法创建一个全局对象,主要为接下来甚至后面所有的“连接请求”操作提供服务。

调用 urlopen() 方法请求相关资源,注:这里会使用上面 install_opener() 方法创建的 opener 对象进行连接请求,即使用定义好的代理服务器。成功请求到资源后返回给 html 变量。

获取网页请求的状态码。返回 200 表示请求成功,返回其它表示请求异常!具体可查看页面请求状态码相关知识。

至此,结合“实例输出”可知页面已经请求成功,且获得的页面资源总长度为 109819 个字符。

封装代码

下面对以上 代理服务设置 的代码就行一个函数封装,具体如下:

提示:在 调用 or 测试 本程序时,应先测试代理服务是否可用,具体可以多获取几个代理服务器地址进行测试。

转载请注明:泰泰博客 » Python 爬虫代理服务器设置

喜欢 (1)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址(选填)