网站ROBOTS.TXT协议文件要怎么写?

2021-02-21 0 225 百度已收录

网站ROBOTS.TXT协议文件要怎么写?

 

robots.txt是什么

robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据(Metadata,又称元数据)。
robots协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。

 

robots协议写法

禁止所有搜索引擎访问网站的任何部分

User-agent: *                这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /                    /后面跟目录

 

允许所有的robot访问

User-agent: * Allow: / 或者 User-agent: * Disallow:

 

仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:

 

禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /

 

禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

 

允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

 

使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm

 

禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*

 

使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /

 

禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

 

仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$

 

仅禁止Baiduspider抓取.jpg格式图片
User-agent: Baiduspider
Disallow: .jpg$

 

注意事项:

1、反斜杠后面一定不能有空格,Disallow: / abc,反斜杠后面的空格意味着屏蔽整站

2、生效时间在两个月以内。

3、不要随便屏蔽整站。

 

书写方式:

  1. 第一个英文字母必须是大写。
  2. 冒号必须是英文状态下的。
  3. 冒号后面有且只有一个英文状态下的空格。
  4. 在写robots协议的时候一定要严格安照规则写,这是搜索引擎给出来的规定,不是这个格式,它不认识。
  5. 如果不确定自己写的协议是否正确,可以通过百度站长平台来检测或者使用参考相关程序的插件去生成。

本文链接:https://www.ijpzt.com/89.html (GNEWS.XYZ)

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

1. 本站所有资源来源于用户上传和网络,因此不包含技术服务请大家谅解!如有侵权请邮件联系客服!innuc@foxmail.com
2. 本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用!如有链接无法下载、失效或广告,请联系客服处理!
3. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!如用于商业或者非法用途,与本站无关,一切后果请用户自负!
4. 如果您也有好的资源或教程,您可以投稿发布,成功分享后有站币奖励和额外收入!

i精品主题 SEO优化 网站ROBOTS.TXT协议文件要怎么写? https://www.ijpzt.com/89.html

IJPZT

有个性 不签名

常见问题
  • 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。
查看详情
  • 最常见的情况是下载不完整, 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘
查看详情

相关文章

网站ROBOTS.TXT协议文件要怎么写?-海报

分享本文封面