便宜VPS网使用PHP实现蜘蛛访问日志统计
在PHP中，可以通过以下几种方式来排除网络爬虫并统计访问量： 使用User-Agent识别：网络爬虫通常会使用特定的User-Agent来发送请求，可以通过判断请求中的User-Agent来排除爬虫。
php获取访问者IP地址汇总 在很我的时候我们需要得到用户的真实IP地址，例如，日志记录，地理定位，将用户信息，网站数据分析等，其实获取IP地址很简单$_SERVER[\\REMOTE_ADDR\\]就可以了。
， 不过，即使记录IP地址，但是也有可能有恶意的用户通过切换IP，或者通过刷票软件来刷访问量。这些问题，还需要更深的研究一下，怎么应对。
可针对特定网站进行全文索引，蜘蛛可1-9个层自动获取全部url 其中的蜘蛛程序写得十分好，有兴趣的朋友推荐研究下。
根据在一定时间打开的链接和流量多少来判断。如果用脚本的话，可以这样在全局配置文件里记录访问各个页面的ip地址、访问时间、访问的脚本页面，那么你根据某个ip在短时间内访问到多个页面，就可以认定是蜘蛛，否则为普通用户。
PHP程序中如何判断来访者是蜘蛛还是普通用户?
IP 不能保证不变，但是可以通过 useragent 来判断，useragent改变的可能性和频率就要低很多。这篇文章列出了各类搜索引擎的 ua，没验证是否准确，你可以瞭解一下http：//。
这个理论上是无法做到的，因为蜘蛛可以模仿得和浏览器点开完全相同。一般的办法是判断浏览器的AGENT标志，一般蜘蛛这里比较特殊，你看看日期里面的AGENT就知道如何识别了。
障眼法就是我们常见的cloaking的中文意思，是指采用伪装网页的方式，先判断来访者是普通浏览者还是搜索引擎蜘蛛程序，从而展示不同的网页。这种黑帽SEO的方法是典型的欺骗搜索引擎的障眼法。
PHP判断来访是搜索引擎蜘蛛还是普通用户的代码小结
根据在一定时间打开的链接和流量多少来判断。如果用脚本的话，可以这样在全局配置文件里记录访问各个页面的ip地址、访问时间、访问的脚本页面，那么你根据某个ip在短时间内访问到多个页面，就可以认定是蜘蛛，否则为普通用户。
使用预定义变量：$_SERVER[HTTP_REFERER]来判断进入该页面的前一页。并根据不同的判断结果执行不同的操作。
None except socket.herror，e： return None， e.message上述代码使用了socket模块的gethostbyaddr的方法获得ip地址的主机名。
这个理论上是无法做到的，因为蜘蛛可以模仿得和浏览器点开完全相同。一般的办法是判断浏览器的AGENT标志，一般蜘蛛这里比较特殊，你看看日期里面的AGENT就知道如何识别了。
IP 不能保证不变，但是可以通过 useragent 来判断，useragent改变的可能性和频率就要低很多。这篇文章列出了各类搜索引擎的 ua，没验证是否准确，你可以瞭解一下http：//。
php爬虫框架怎么安装
php框架搭建步骤：项目初始化 首先我们在自己的web目录下创建我们的项目目录，我暂且把项目命名为hellovod，因此我的电脑目录就是：D：laragonwwwhellovod。在该目录下创建composer.json文件。
确认是否安装了composer工具，win+R，cmd进入命令行，输入composer查看是否安装。若没安装，请先安装composer工具。在php web环境中，创建yii0框架的安装目录。
百度搜索 “thinkphp”进入官网下载thinkphp0。安装服务器运行环境，可以选择php0+mysql+Apache单个安装。小编这里选择集成环境安装比如：PHPstudy。首先查看集成环境是否正常运行，mysql+Apache正常运行。
有人会PHPSpider吗,求怎么搭建这个环境
1、php一贯简洁、易用，亲测使用PHPspider框架10分钟就能写出一个简单的爬虫程序。PHP环境安装和python一样，PHP也需要环境，可以使用官网下载的PHP，也可以使用XAMPP、PHPstudy等集成环境下的PHP。
2、你需要搭建PHP环境，搭建PHP环境有一键安装包，他们分别是vertrigo、PHPstudy、wampServer。随便选其中一个就可以。
3、如phpQuery，phpCrawl，phpSpider，Snoopy。如果使用curl，也是相当不错的。但你要做的事情更多。它只负责请求和下载，并没有实现爬虫的核心。别的事情都要自己做，至少你得先封装一下。
