请选择 进入手机版 | 继续访问电脑版
查看: 361|回复: 0

什么是robots.txt搜索引擎协议

[复制链接]

244

主题

256

帖子

1427

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
1427

最佳新人活跃会员热心会员推广达人宣传达人灌水之王突出贡献优秀版主荣誉管理论坛元老

发表于 2016-1-18 19:57:26 | 显示全部楼层 |阅读模式
        在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。
        Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件,就这么一句话可以解释robots.txt是什么,但是我们需要注意的几点:
        1、robots.txt必须存放在网站的根目录下。
        2、其命名必须为robots.txt
        3、Robots.txt是搜索引擎访问网站的第一个页面
        4、Robots.txt中必须指明user-agent


生活圈制作
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

SEO论坛是由SEO培训网株洲优商网络(zhuzhouren.com.cn)创立,是一个以免费分享SEO技术教程和SEO网站优化技术学习交流为目的SEO论坛,欢迎热爱搜索引擎优化站长加入交流,SEO技术交流群(497177874)
© 2001-2013 株洲优商网络SEO培训网 湘ICP备14002577号-2 Powered by Discuz!X3.2Template by 株洲优商网络    
快速回复 返回顶部 返回列表