请选择 进入手机版 | 继续访问电脑版
株洲优商网络 网站收录 查看内容

如何禁止搜索引擎抓取网站内容

2016-1-13 13:26| 发布者: zhuzhouren| 查看: 420| 评论: 0

        如何禁止搜索引擎抓取网站内容

      新建一个命名为“robots”的文本文件,robots文件是搜索引擎和网站之间的一个协议。

      设置搜索引擎和网站之间的协议,User-agent:*表示和所有搜索引擎协议适用;Disallow:/表示禁止抓取收录全站。

      如果只是禁止某一个搜索引擎抓取收录网站的某一个目录,比如要禁止百度抓取收录jinzhi目录,则如图设置。

      保存文件后,把文件上传到服务器根目录,即表示搜索引擎和网站之间的协议生效,可以禁止搜索引擎抓取收录网站内容。

      除了设置robots协议之外,还可以在网页代码里面设置。在网页<head></head>之间加入<meta name="robots" content="noarchive">代码。表示紧致所有搜索引擎抓取网站和显示快照。

      如果要针对某一个搜索引擎禁止抓取,在网页<head></head>之间加入<meta name="baidspider" content="noarchive">代码,表示禁止百度抓取,<meta name="googlebot" content="noarchive">表示禁止谷歌抓取,其他的搜索引擎一样原理。

鲜花

握手

雷人

路过

鸡蛋

最新评论

QQ|手机版|株洲优商网络 ( 湘ICP备14002577号-2  

GMT+8, 2018-4-20 10:39 , Processed in 0.096300 second(s), 23 queries .

Powered by Discuz! X3.2 Licensed

© 2001-2013 Comsenz Inc.

返回顶部