网站优化之robots文件禁止全站抓取设置及验证方法?

robots.txt

robots协议也称爬虫协议、爬虫规则等,是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。

 

文件注释:

User-agent: *

Disallow: /

 

禁止所有搜索引擎访问网站的任何部分。

 

 

文件放置操作:

请将文件 robots.txt  放置在 网站服务器主机 根目录 位置下

 

 

文件验证:

1网址/robots.txt   打开显示正常

2,百度资源站长  https://ziyuan.baidu.com/  平台 robots.txt 验证 



以上便是指南资讯网给大家分享的关于网站优化之robots文件禁止全站抓取设置及验证方法?,特此通知https://www.qingdaoshixian.cn/yunying/15029.html 的相关信息了,希望能帮助到大家,更多问题答案,敬请关注指南资讯网!
1、本文标题:网站优化之robots文件禁止全站抓取设置及验证方法? 特此通知
2、本资源部分来源其他付费资源平台或互联网收集,如有侵权请联系及时处理。
3、转载请说明来源于"指南资讯网"
3、本文地址:https://www.qingdaoshixian.cn/yunying/15029.html
指南资讯 » 网站优化之robots文件禁止全站抓取设置及验证方法?

发表评论

加载中~

加入本站VIP会员订阅计划,海量资源免费查看

目前为止共有 3654 位优秀的VIP会员加入! 立刻加入VIP会员