便宜VPS网爬虫线程开多少个效率比较高
一般情况下小白的我们第一个想到的是for循环，这个可是单线程啊。那我们考虑for循环直接开他个5个线程，问题来了，如果有一个url请求还没有回来，后面的就干等，这么用多线程等于没用。
python因为有GIL全局解释器锁，所以python的多线程不能利用多核，但是如果是io密集型的项目，多线程效率也很好，我就是用多线程来做爬虫的。
但是，八爪鱼采集器团队版可达到十万级别的采集量，企业版可达到百万级别。为了更高效地进行数据采集，您可以考虑以下几点： 优化采集规则：合理设置采集规则，减少不必要的采集内容，提高采集效率。
个网站我们可以开4个5个或者10个这个可以根据您的硬件资源进行调整。
php如何处理高并发
降低服务器压力 使用缓存处理类似抢购、投票等高并发请求，如redis。
一般来说，解决WEB高并发的有效手段都是采用可线性扩展的多层分布式架构，我生产项目的架构是这样的，就在这里抛砖引玉一下。
但如果并发高，在我们对文件进行读写操作时，很有可能多个进程对进一文件进行操作，如果这时不对文件的访问进行相应的独占，就容易造成数据丢失。
当B业务系统并发量很高时，有100笔相同的三要素校验，由于是相同的三要素，A渠道只要调用一次厂商即可知道结果。
解决办法主要是围绕系统优化，优化开机启动项、尽量避免开启太多程序等等。
memcache，页面静态化，对固定不变的页面采用静态处理，对数据库高并非，高访问，采取memcache技术，减轻对数据库的访问。
