robots协议-主机镇

WordPress教程之通过robots协议屏蔽搜索引擎抓取网站部分内容

大家做网站难免有些时候不想让某些搜索引擎抓取某些页面，当然可以在根目录下放robots.txt文件屏蔽搜索引擎或者设置搜索引擎可以抓取文件范围以及规则。Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robot...

2020-04-19Wordpress 阅读()