便宜VPS网python 爬虫 ip池怎么做
我们先来了解下Python中高层次的数据结构,动态类型和动态绑定,使得它非常适合于快速应用开发,也适合于作为胶水语言连接已有的软件部件。用Python搭建一个可用的代理IP池其实并不难的。下面我们来看看搭建一个可用的代理IP池的代码，可以分为以下的模块：
1、ProxyGetter，代理获取的相关代码，可以抓取网站上的免费代理，经测试每天更新的可用代理只有六七十个，当然也支持自己扩展代理接口。
2、Api，api接口相关代码，目前api是由Flask实现，代码也非常简单。客户端请求传给Flask，Flask调用ProxyManager中的实现，包括get/delete/refresh/get_all。
3、Util，存放一些公共的模块方法或函数，包含GetConfig:读取配置文件config.ini的类，ConfigParse:集成重写ConfigParser的类，使其对大小写敏感，Singleton:实现单例，LazyProperty:实现类属性惰性计算。
4、DB，数据库相关代码，目前数据库是采用SSDB。代码用工厂模式实现，方便日后扩展其他类型数据库。
5、Schedule，定时任务相关代码，现在只是实现定时去刷新代码，并验证可用代理，采用多进程方式。
6、Manager，get/delete/refresh/get_all等接口的具体实现类，目前代理池只负责管理proxy，日后可能会有更多功能，比如代理和爬虫的绑定，代理和账号的绑定等等。
7、其他文件，配置文件:Config.ini,数据库配置和代理获取接口配置，可以在GetFreeProxy中添加新的代理获取方法，并在Config.ini中注册即可使用。大家平常搭建一个可用的代理IP池也是按照这些的方法吗？如果不是，也可以参考下的。如果想快捷方便有效可以使用http，IPIDEA全球http每日9000w的IP量包含全球240＋地区的ip，足以符合需求量大的标准。
动态IP池如何搭建？
工具/原料
more
ip代理抓取： requests 后台搭建： Django+Redis 代理检测： ip地址查询 代理抓取地址： 西刺代理
方法/步骤
1/5 分步阅读
爬取代理ip，获取如下信息：
IP地址、端口、服务器地址、类型、是否匿名、类型、存活时间、验证时间
2/5
分别在Redis中和ip查询接口中，验证代理，成功则计算过期时间，并进行分类。
3/5
将状态，类型，过期时间分别写入Redis。
4/5
每隔15分钟进行爬取
ip代理自动去重
提供Python的调用的接口，和http接口
保证代理的高可用，在每次调用的时候验证代理可靠性
5/5
具体所会遇到的一些代码说明
注意事项
通常代理可以从免费的代理ip网站爬取
当需求量过大的时候建议使用换ip软件，诸如太阳换ip软件之类的，效率会有所提高
如何使用Python实现爬虫代理IP池
第一步：找IP资源
IP资源并不丰富，换句话说是供不应求的，因此一般是使用动态IP。
免费方法，直接在网络上找，在搜索引擎中一搜索特别多能够提供IP资源的网站，进行采集即可。
付费方法，通过购买芝麻ip上的IP资源，并进行提取，搭建IP池。
第二步，检测可用IP保存。提取到的IP，可以进一步进行检测是否可用，比如访问某个固定的网站，找出访问成功的IP进行保存。
第三步，随机调用IP
在爬虫需要使用IP时，可用读取保存IP的文件，进行随机调用IP。
本文介绍了如何建爬虫的IP池方法，可以说搭建IP池很容易，可有些IP的时效性很短，使用之前还可以再测试一次的。
如何获取代理IP？
代理ip的获得可以大致分为三种方式
一、网络搜索免费代理ip
我们在网上随意的搜索就会用找到很多的免费的代理ip，这些代理ip是不需要任何的费用，但是这样的代理ip不太适合专业的工作人员，会浪费很多的工作时间进行ip的验证，验证之后才可以使用代理。
二、使用运营商代理ip
现在有很多的运营商代理ip，相对于免费的代理ip在工作上会提升很多的效率，这类代理ip是高匿名的代理，稳定性好，速度快，对于网络工作起支撑的作用。
三、自己搭建代理ip池
想要获得代理的代理ip，可以自己搭建代理ip池，可以无限的使用代理ip，但是自建ip池的技术要求比较高，需要大量的时间进行ip池的维护。很多用户都不具备这项能力。
直接是可以获得代理ip的方式，在选择代理ip时要选择适合使用的代理，才能更好地帮助我们进行工作。
ip池搭建成本
1.
爬取免费代理IP,搭建代理IP池 这种方法用的人非常的多,因为它是免费的,“免费”两个字足以让绝大多数人趋之若鹜。如果你不会爬取,那么可以在网上找到很多教程,也可以在github上找到很多项目
2.
购买代理IP,搭建代理IP池 选择购买代理IP朋友很多,毕竟免费代理IP效果实在是太差,收费代理IP虽然要付出一定的金钱代价,但效果明显好了太多
代理IP与代理IP池
对爬虫来说，当访问频率达到了目标网站的预警值时，就有可能会触发目标网站的反爬机制。上篇文章中，企通查为大家介绍了几种常见的反爬虫策略思路，封禁访问者IP就是其中一种很常见的反爬机制。
网络爬虫几乎所有的数据都能够伪造，但唯有一项却不能造假，那就是IP地址。因此很多网站为了防爬虫，会制定一系列规则去封杀IP，对每个IP做频次控制，当IP地址被封禁后，IP发出的请求就将不能得到正确的响应，这个办法虽简单粗暴，却又十分有效。
因此从另一角度来说，我们有理由可以认为，突破反爬虫机制的一个重要举措就是能够拥有一群庞大稳定的IP——即所谓的代理IP池，这将会在爬虫工作中起到重要的作用。
——
做网络数据采集时，爬虫需要通过代理IP来掩护自身才能顺利爬取目标数据，而爬虫所需要的IP数量往往是以万为单位来计算的，基于对IP的庞大需求量，这时就该代理上场了。
所谓代理就是介于用户与网站之间的第三者：用户先将请求发到给代理，然后代理再发到服务器，这样看起来就像是代理在访问那个网站了，服务器会将这次访问算到代理头上。如果同时用多个代理的话，单个IP的访问量就降下去了，从某种意义上来说是突破了次数的限制，于是单个IP就有可能逃过一劫，进而促使爬虫能更高效地工作。
代理IP也是分类的，最常用的代理IP类型有SOCKS代理、HTTPS代理、HTTP代理等。按时效可分长效和短效，在行业法规允许范围内，长效代理IP可以进行一些例如搜索资料数据以方便了解行业数据的爬取任务。短效的则可以完成一些诸如注册、页面浏览之类的工作。
——
了解了代理IP的概念，代理IP池就不难理解了。通俗地比喻，代理IP池其实就相当于一个一个装了很多代理IP的池子，当有需求的时候就从池子里对IP进行取用。
代理IP池往往会有如下几点行为特征：
1．池子里的IP是有生命周期的，它们将被定期验证，其中失效的将被从池子里面剔除。
2．池子里的IP是有补充渠道的，会有新的代理IP不断被加入池子中。
3．池子中的代理IP是可以被随机取出的。
这样，代理池中就始终会有多个不断更换的、有效的、全新的代理IP，池子始终保持着活性，而不是一潭死水。
——
那么，该如何获取代理IP、构建拥有自己的代理IP池呢？通常主要有以下3种途径：
从免费的网站上获取：质量很低，能用的IP极少，即使可用对速度可能也无法保障。
购买收费的代理服务：质量高很多，当然从成本角度来说，一般稳定的IP池都很贵，不同平台的代理质量和价格均有出入，可自行搜索对比。
自己搭建代理服务器：较为稳定，但需要大量的服务器资源。
根据代理IP池的行为特征和构建方式，代理IP池的结构组件一般会有如下几部分：
1.代理IP的获取/补充渠道：定期把获取到的代理ip加入到代理池中。
2.代理ip的验证机制：定期验证代理池中ip的有效性，并删除掉所有失效的ip。
3.web服务：用以提供获取一个随机代理的api。
4.Squid3的维持脚本：定期获取代理池中的可用ip，更新Squid中的可转发代理列表。
5.调度器：程序的入口，用来分控协调各组件的运行。
——
通过上文的了解，我们可以知道其实没有代理IP，爬虫要想进行快速大量的采集是近乎不可能的任务。没有代理IP，爬虫简直就是寸步难行，因此想要使用爬虫进去抓取数据的工作，那么首先要先准备好代理IP。
除了爬虫数据采集外，像推广问答、SEO优化、论坛发帖、游戏测试等诸多业务都会需要用到大量代理IP来辅助开展，甚至可以说现在的互联网工作者几乎都离不开代理IP。
因此在做爬虫时，维护一个可用的代理IP池是很有必要的事情，如果个人学习资金紧缺的情况下可以考虑采集免费代理，当然如果想要企业商用或是追求更高稳定性的代理IP还是建议优先考虑收费代理。
