标签：Robots.txt文件是什么

2020-09-28阅读(1085)赞(0)

在对网站进行SEO优化时，我们出于安全的考虑，会写入robots.txt文件，其目的是就是告诉搜索引擎蜘蛛，网站上哪些内容允许抓取，哪些内容不允许抓取，这样做可以提高搜索引擎的抓取效率，增加搜索引擎对网站的友好度。这就是Robots.txt...