请选择 进入手机版 | 继续访问电脑版
查看: 246|回复: 0

教你如何解决蜘蛛爬取iis日志404状态码

[复制链接]

212

主题

224

帖子

1179

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
1179

最佳新人活跃会员热心会员推广达人宣传达人灌水之王突出贡献优秀版主荣誉管理论坛元老

发表于 2016-3-25 12:31:09 | 显示全部楼层 |阅读模式
        问题:近期检查网站日志中,百度蜘蛛经常在网站中已经删除的页面以及不存在的页面中爬行,且好像是提权蜘蛛在爬行(觉得有点浪费),导致出现很多404返回码,因为很多是栏目里的个别页面,所以这里就分享下我是如何处理这些死链接的。
        观察:蜘蛛爬取的页面数量有点多是其一,其二根据最近观察,我没有什么动作,但日志上这个问题或多或少,每天不一样,且百度站长平台的抓取异常显示是很正常的。
        解决方法:像朋友们如果遇到这种问题,是不是应该第一时间去提交死链呢?答案是的,可以每天整理出蜘蛛爬取的死链接,提交给百度站长平台,过几天百度蜘蛛就会删除这些页面不会再爬。
        案例:如笔者的一个网站,百度搜索长沙水泵厂,之前是第三第四页,可能是影响排名,采取措施之后,大幅度上升到第二页,现在长沙水泵厂第20名。哪个网站我就不说了,你只要看到长沙水泵厂就知道是三昌的了。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
生活圈制作
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

SEO论坛是由SEO培训网株洲优商网络(zhuzhouren.com.cn)创立,是一个以免费分享SEO技术教程和SEO网站优化技术学习交流为目的SEO论坛,欢迎热爱搜索引擎优化站长加入交流,SEO技术交流群(497177874)
© 2001-2013 株洲优商网络SEO培训网 湘ICP备14002577号-2 Powered by Discuz!X3.2Template by 株洲优商网络    
快速回复 返回顶部 返回列表