电脑技巧.图片新闻 | 用户注册 | 用户中心 | 发表文章 | 留言簿 | 二维码
  |繁体中文|  RSS订阅 |极速版  |扫描二维码  
电脑技巧,计算机,电脑知识,组装维修,经验,资料精华宝库,HUGESKY CMS官网,鸿天全站,HUGESKY-屏蔽百度蜘蛛或某一爬虫的四种方法
本站申明:
本站尽量纯净无广告,提供交流学习类共享资料。[广告投放说明] [联系]
  • 首 页
  • 电脑知识
  • 应用技巧
  • 组装技巧
  • 维修技巧
  • 网络技巧
  • 组网通信
  • 办公技巧
  • 技巧视频
  • 编程技巧
  • 防毒技巧
  • 博客圈
会员注册关闭
帐号: 密码: 验证码: 点击显示验证码 记住
电脑技巧 -> 电脑知识 -> 专业知识

屏蔽百度蜘蛛或某一爬虫的四种方法

作者: 未知 来源: 网络收集 整理日期: 2019-09-19
推荐指数: 点击:2044   文字大小: 加入收藏夹


1、robots.txt屏蔽百度或某一爬虫抓取
打开robots.txt,在开头加入如下语句(以百度蜘蛛为例):

User-agent: baiduspider
Disallow: /
代码分析,首先要知道该爬虫的名称,如百度爬虫是Baiduspider,Google爬虫是Googlebot,360搜索爬虫是360Spider,你可以通过各大搜索引擎蜘蛛爬虫UA汇总来获取爬虫的名称,例如,微软必应的蜘蛛UA是:

"Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
我们就可以知道它的爬虫名称为bingbot。

2、robots Meta标签屏蔽百度或某一爬虫抓取
如果是针对某一个页面屏蔽百度蜘蛛或某一爬虫抓取,那么可以通过Meta标签来实现。代码如下:

<head> … 
<meta name="robots" content="noindex,nofollow" /> 
</head>
这是屏蔽所有蜘蛛爬虫抓取该页面的写法,如果只屏蔽某个爬虫,可以把"robots"改为特定的爬虫名称,爬虫名称可以通过上面方法1中提及的办法获得。例如想只屏蔽微软必应的蜘蛛抓取该页,则可以写成:

<head> … 
<meta name="bingbot" content="noindex,nofollow" /> 
</head>
3、.htaccess屏蔽百度或某一爬虫抓取
一些可恶的爬虫并不遵循robots规则,那么我们还可以通过.htaccess来屏蔽它,代码如下(以百度蜘蛛为例):

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*Baiduspider.* [NC]
RewriteRule .* - [F]
如果是Apache服务器,可以修改配置文件 httpd.conf ,这样写( /var/www/html 是根目录):

<Directory "/var/www/html">
...
SetEnvIfNoCase User-Agent ^.*Baiduspider.* bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot
...
</Directory>
如果是Nginx服务器,可以修改配置文件( 默认是 nginx.conf ),这样写:

Server{
...
location / {
if ($http_user_agent !~ Baiduspider) {
return 403;
}
}
...
}
4、通过IP屏蔽百度或某一爬虫抓取
我们还可以通过分析日志,获得爬虫的IP地址,然后从服务器防火墙屏蔽该IP,不过爬虫通常有很多IP,我们可以屏蔽爬虫的IP段。

不过此方法没有前面几个方法实用。

获得更多 -> 电脑知识 -> 专业知识
技术支持

责任编辑: webmaster >>> 百度上搜索  谷歌上搜索

hugesky
点击复制本连接 (http://www.hugesky.com/showarticle.php?id=6895)

  转换为打印版本   在本站发表文章    关闭本页窗口
 用noindex非robots.txt屏蔽搜素引擎技巧
 legal mix of collations (gb2312_chinese_ci,IMPLICI

>>> 相关资讯:

  • . 3D原理探讨?红蓝滤片3D技术
  • . 云虚拟主机购买注意要点
  • . .htaccess文件常用代码大全
  • . SQLserver2012八大新特新
  • . [推荐]什么是OEM产品
  • . 网址URL规范化(URLcanonicalization
  • . 七个妙招远离垃圾邮件困扰
  • . 苹果、iPhone、iPod,IOS
  • . 经常使用电脑英语与缩写
  • . 如何将Coreldraw图像文件导入Photosh
【声明】:
以上文章或资料除注明为电脑技巧原创或编辑整理外,均为网络收集整理或网友推荐。以上内容以共享、参考、研究为目的,不存在任何商业目的。
未注明作者或出处的文章,可能资料来源不规范。如有涉及版权请给予及时联系更正或予以删除。
评论:(开放)

  网友评论: 评  
以下网友评论只代表网友个人观点,不代表本站观点
  发表评论:(匿名用户不能发表评论! 注册 登陆)
昵称: 验证码:
评分:
5 4 3 2 1
内容:
  请文明参与讨论,禁止漫骂攻击。
 
·用户发表意见仅代表其个人意见,并且承担一切因发表内容引起的纠纷和责任.
·本站管理人员有权在不通知用户的情况下删除不符合规定的评论信息或留做证据.
·请客观的评价您所看到的资讯,提倡就事论事,杜绝漫骂和人身攻击等不文明行为.
内容搜索
    • 站内搜索
热门资讯
  • [图文]来,来,来,火绒剑干掉Aliba...
  • 公共DNS服务器IP地址大全
  • 电脑快捷键全都在这了!电脑技巧...
  • 图说最常用的10个电脑技巧
  • 别说你不会?这9个电脑技巧你必须...
  • Win7解决C盘占用空间大的方法
  • 网银密码设置小技巧
  • win7安装AHCI驱动
  • [推荐]五步搞定电脑网络安全 五步...
  • 平板电脑选购六大要点
广告位置
开启模板:NEWSKY -关于版权 - 隐私保护 - 联系我们 - 网站地图 - 会员列表 - 加入收藏 - 返回顶部

我问佛:如何才能如你般睿智? 佛曰:佛是过来人,人是未来佛。
部分资源收集于互联网并遵循 署名-非商业性使用-相同方式共享3.0共享,尽量署名原创。
据《信息网络传播权保护条例》 如侵犯您的权利,请联系webmaster(at)hugesky.com删除。
Power By HugeSky.Com

Copyright© www.hugesky.com
Powered by HUGESKY CMS 7.1.1.1080918 professional licensed