电脑技巧.图片新闻 | 用户注册 | 用户中心 | 发表文章 | 留言簿 | 扫一扫手机阅读
  |繁体中文|  RSS订阅 |极速版  |手机访问  
电脑常用技巧,PC Skill,电脑知识,组装维修,经验,资料精华宝库,HUGESKY CMS官网,鸿天全站,HUGESKY-Robots 即爬虫协议 写法技巧
本站申明:
本站尽量纯净无广告,提供交流学习类共享资料。[广告投放说明] [联系]
  • 首 页
  • 电脑知识
  • 应用技巧
  • 组装技巧
  • 维修技巧
  • 网络技巧
  • 组网通信
  • 办公技巧
  • 技巧视频
  • 编程技巧
  • 防毒技巧
  • 博客圈
会员注册关闭
帐号: 密码: 验证码: 点击显示验证码 记住
电脑技巧 -> 电脑知识 -> 软件知识

Robots 即爬虫协议 写法技巧

作者:未知来源:网络收集 整理日期:2019-09-26
推荐指数: 点击:587   文字大小: 加入收藏夹

    导  读:Robots.txt即爬虫协议,是搜索引擎蜘蛛进入网站第一个寻找的文件,它告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。网站设置robots.txt的好处:禁止搜索引擎收录部分页面;引导蜘蛛爬网站地图;能够一定程度上保护网站安全;节省流量等。

网站出现错误页面,或者某些页面不想让蜘蛛爬取时,合理的配置robots协议可以让蜘蛛更高效快捷的爬取到需要抓取的内容。当搜索引擎蜘蛛进入网站,首先查找网站根目录下是否存在robots.txt文件,若存在,则按照该文件的规范抓取内容;若不存在该文件,则按照默认的规则爬取网站中所有网页。因此,本文介绍一些robots语法和常用实例。

网站设置robots.txt的好处:禁止搜索引擎收录部分页面;引导蜘蛛爬网站地图;能够一定程度上保护网站安全;节省流量等。

Robots基本语法:

1、定义搜索引擎:User-agent。

User-agent: * #所有的搜索引擎
User-agent: Baiduspider #百度蜘蛛
User-agent: Googlebot #谷歌蜘蛛
2、Disallow 禁止爬取。

Disallow: /admin/ #禁止爬取admin文件夹
Disallow: /login.html #禁止爬取登录页面
3、Allow 允许。默认情况下,都是允许的。

例如:禁止admin文件夹下的所有文件,除了.html的网页。如果用Disallow一个一个的禁止,太浪费时间了。

此时用Allow就解决这个问题:

Allow: /admin/.html$ 
Disallow: /admin/
4、$ 结束符。

例:允许所有的以.html结尾的文件。不管前面有多长的URL,只要以.html结尾都允许

Allow: .html$
5、* 通配符符号0或多个任意字符。

例:屏蔽所有的动态URL

User-agent: *
Disallow: /*?*
6、Sitemap 声明网站地图。

Sitemap: http://www.xiaowangyun.com/sitemap.xml
7、#: 注释符。

8、版本号

Robot-version: Version 1.0
注:

1.robots.txt文件存放在网站根目录下。
2.文件名所有字母都必须小写(robots.txt)。
3.User-agent、Disallow、Allow、Sitemap必须是第一个字母大写,后面的字母小写,后面英文字符下的空格。
常用Robots.txt 文件举例

例1、禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /
例2、禁止访问某些目录。注意的是对每一个目录必须分开声明。

User-agent: *
Disallow: /admin/
Disallow: /log/
Disallow: /bin/
例3、禁止某个搜索引擎抓取网站上的所有图片

User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

获得更多 -> 电脑知识 -> 软件知识
技术支持

责任编辑: webmaster >>> 百度上搜索  谷歌上搜索

hugesky
点击复制本连接 (http://www.hugesky.com/showarticle.php?id=6914)

发送到邮件  转换为打印版本  投 发表文章  报 侵权报告  关 关闭窗口
 sitemap网站地图的写法优化技巧
 把百度文库内容免费拿下的几个小技巧

>>> 相关资讯:

  • . DOS命令大全,复习下
  • . 各种软件视频教学大全
  • . 多个文件批量重命名
  • . Html报头标签几个常用解释和使用技巧
  • . 历史将重演Windows7将成下一个Window
  • . 不用拔插U盘,一键重新启用U盘
  • . UNIX系统介绍
  • . 安全上网必备:隐藏私密文件四大方法
  • . WindowsXP下磁盘格式如何转换
  • . dwg文件怎么打开
【声明】:
以上文章或资料除注明为电脑技巧原创或编辑整理外,均为网络收集整理或网友推荐。以上内容以共享、参考、研究为目的,不存在任何商业目的。
未注明作者或出处的文章,可能资料来源不规范。如有涉及版权请给予及时联系更正或予以删除。
评论:(开放)

  网友评论: 评  
以下网友评论只代表网友个人观点,不代表本站观点
  发表评论:(匿名用户不能发表评论! 注册 登陆)
昵称: 验证码:
评分:
5 4 3 2 1
内容:
  请文明参与讨论,禁止漫骂攻击。
 
·用户发表意见仅代表其个人意见,并且承担一切因发表内容引起的纠纷和责任.
·本站管理人员有权在不通知用户的情况下删除不符合规定的评论信息或留做证据.
·请客观的评价您所看到的资讯,提倡就事论事,杜绝漫骂和人身攻击等不文明行为.
内容搜索
    • 站内搜索
热门资讯
  • 电脑快捷键全都在这了!电脑技巧...
  • 图说最常用的10个电脑技巧
  • 别说你不会?这9个电脑技巧你必须...
  • Win7解决C盘占用空间大的方法
  • 网银密码设置小技巧
  • win7安装AHCI驱动
  • 平板电脑选购六大要点
  • [推荐]五步搞定电脑网络安全 五步...
  • 系统自带的最不起眼但又是最强的...
  • 上班族必懂的电脑技能技巧
推荐信息
开启模板:NEWSKY -关于版权 - 隐私保护 - 联系我们 - 网站地图 - 会员列表 - 加入收藏 - 返回顶部

我问佛:如何才能如你般睿智? 佛曰:佛是过来人,人是未来佛。
部分资源收集于互联网并遵循 署名-非商业性使用-相同方式共享3.0共享,尽量署名原创。
据《信息网络传播权保护条例》 如侵犯您的权利,请联系webmaster(at)hugesky.com删除。
Power By HugeSky.Com

Copyright© www.hugesky.com
Powered by HUGESKY CMS 7.1.1.1080918 professional licensed