请选择 进入手机版 | 继续访问电脑版
株洲优商网络 内容优化 查看内容

网站iis日志分析的方法

2016-1-12 13:21| 发布者: zhuzhouren| 查看: 383| 评论: 0

        网站iis日志分析的方法

        IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况,可以更近距离的分析和接触蜘蛛。爬取次数,爬取时间点,爬取高峰期,爬取反应出来的HTTP状态码,为我们带来清晰的分析便利。
        一、各大搜索引擎的蜘蛛名称:
        百度(Baidu)爬虫名称(Baiduspider)
        谷歌(Google)爬虫名称(Googlebot)
        雅虎(Yahoo)爬虫名称(Yahoo Slurp)
        有道(Yodao)蜘蛛名称(YodaoBot)
        搜狗(sogou)蜘蛛名称(sogou spider)
        MSN的蜘蛛名称:msnbot

        二、IIS分析:
        案例日志:61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider(+http://www.baidu.com/search/spider.htm)"
        分析:
        1、61.135.168.22 是访问了是服务器IP为这个的网站.
        2、11/Jan/2009:04:02:45 表示蜘蛛爬行时间
        3、GET /thread-7303-1-1.html HTTP,表示蜘蛛抓取了这个页面。
        4、200 状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。
        5、8450 表示此次抓取了8450个字节
        6、Baiduspider(+http://www.baidu.com/search/spider.htm)表示百度蜘蛛的名称

        三、基本状态码:
        200:请求已经完成,蜘蛛访问页面正常
        301:已经移动,永久重定向
        302:临时重定向
        304:蜘蛛爬取后发现,页面没有修改
        305:使用代理
        400:请求错误
        404:找不到页面

        四、IIS详细状态码含义:
        100 - 表示已收到请求的一部分,正在继续发送余下部分。
      101 - 切换协议。
      200 - 确定。客户端请求已成功。
      2XX - 成功 服务器成功地接受了客户端请求。 (只要是2XX的状态,都表示成功)
      200 - 确定。客户端请求已成功。
      201 - 已创建。
      202 - 已接受。
      203 - 非权威性信息。
      204 - 无内容。
      205 - 重置内容。
      206 - 部分内容。
      300 - 针对收到请求,服务器可执行多种操作。
      301 - 永久移动转移,请求的内容已永久移动其他新位置。
      302 - 临时移动转移,请求的内容已临时移动新的位置
      304 - 未修改。自从上次请求后,请求的内容未修改过。
      307 - 临时重定向。服务器目前从不同位置响应请求,但请求者应继续使用原有位置来进行以后的请求。
      400 - 错误的请求。
      401 - 访问被拒绝。IIS 定义了许多不同的 401 错误,它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示,但不在 IIS 日志中显示:
      401.1 - 登录失败。
      401.2 - 服务器配置导致登录失败。
      401.3 - 由于 ACL 对资源的限制而未获得授权。
      401.4 - 筛选器授权失败。
      401.5 - ISAPI/CGI 应用程序授权失败。
      401.7 - 访问被 Web 服务器上的 URL 授权策略拒绝。这个错误代码为 IIS 6.0 所专用。
      403 - 禁止访问:IIS 定义了许多不同的 403 错误,它们指明更为具体的错误原因:
      403.1 - 执行访问被禁止。
      403.2 - 读访问被禁止。
      403.3 - 写访问被禁止。
      403.4 - 要求 SSL.
      403.5 - 要求 SSL 128.
      403.6 - IP 地址被拒绝。
      403.7 - 要求客户端证书。
      403.8 - 站点访问被拒绝。
      403.9 - 用户数过多。
      403.10 - 配置无效。
      403.11 - 密码更改。
      403.12 - 拒绝访问映射表。
      403.13 - 客户端证书被吊销。
      403.14 - 拒绝目录列表。
      403.15 - 超出客户端访问许可。
      403.16 - 客户端证书不受信任或无效。
      403.17 - 客户端证书已过期或尚未生效。
      403.18 - 在当前的应用程序池中不能执行所请求的 URL.这个错误代码为 IIS 6.0 所专用。
      403.19 - 不能为这个应用程序池中的客户端执行 CGI.这个错误代码为 IIS 6.0 所专用。
      403.20 - Passport 登录失败。这个错误代码为 IIS 6.0 所专用。
      404 - 未找到请求的内容。
      404.0 - 未找到文件或目录。
      404.1 - 无法在所请求的端口上访问 Web站点。
      404.2 - Web 服务扩展锁定策略阻止本请求。
      404.3 - MIME 映射策略阻止本请求。
      405 - 用来访问本页面的 HTTP 谓词不被允许(方法不被允许)
      406 - 客户端浏览器不接受所请求页面的 MIME 类型。
      407 - 要求进行代理身份验证。
      412 - 前提条件失败。
      413 - 请求实体太大。
      414 - 请求 URI 太长。
      415 - 不支持的媒体类型。
      416 - 所请求的范围无法满足。
      417 - 执行失败。
      423 - 锁定的错误。
      500 - 服务器内部错误。
      500.12 - 应用程序正忙于在 Web 服务器上重新启动。
      500.13 - Web 服务器太忙。
      500.15 - 不允许直接请求 Global.asa.
      500.16 - UNC 授权凭据不正确。这个错误代码为 IIS 6.0 所专用。
      500.18 - URL 授权存储不能打开。这个错误代码为 IIS 6.0 所专用。
      500.100 - 内部 ASP 错误。
      501 - 服务器无法完成请求的功能。
      502 - 服务器用作网关或代理服务器时收到了无效响应。
      502.1 - CGI 应用程序超时。
      502.2 - CGI 应用程序出错。
      503 - 服务不可用。这个错误代码为 IIS 6.0 所专用。
      504 - 网关超时。
      505 - HTTP 版本不受支持。我们继续学习下,如何看IIS日志代码,打开IIS日志后,你会看见里面有很多访问记录。baiduspider,Googlebot等就是蜘蛛了。蜘蛛爬过后都会留下记录的,我将状态代码列在下面:
      100 - 表示已收到请求的一部分,正在继续发送余下部分。
      101 - 切换协议。
      200 - 确定。客户端请求已成功。
      2XX - 成功 服务器成功地接受了客户端请求。 (只要是2XX的状态,都表示成功)
      200 - 确定。客户端请求已成功。
      201 - 已创建。
      202 - 已接受。
      203 - 非权威性信息。
      204 - 无内容。
      205 - 重置内容。
      206 - 部分内容。
      300 - 针对收到请求,服务器可执行多种操作。
      301 - 永久移动转移,请求的内容已永久移动其他新位置。
      302 - 临时移动转移,请求的内容已临时移动新的位置
      304 - 未修改。自从上次请求后,请求的内容未修改过。
      307 - 临时重定向。服务器目前从不同位置响应请求,但请求者应继续使用原有位置来进行以后的请求。
      400 - 错误的请求。
      401 - 访问被拒绝。IIS 定义了许多不同的 401 错误,它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示,但不在 IIS 日志中显示:
      401.1 - 登录失败。
      401.2 - 服务器配置导致登录失败。
      401.3 - 由于 ACL 对资源的限制而未获得授权。
      401.4 - 筛选器授权失败。
      401.5 - ISAPI/CGI 应用程序授权失败。
      401.7 - 访问被 Web 服务器上的 URL 授权策略拒绝。这个错误代码为 IIS 6.0 所专用。
      403 - 禁止访问:IIS 定义了许多不同的 403 错误,它们指明更为具体的错误原因:
      403.1 - 执行访问被禁止。
      403.2 - 读访问被禁止。
      403.3 - 写访问被禁止。
      403.4 - 要求 SSL.
      403.5 - 要求 SSL 128.
      403.6 - IP 地址被拒绝。
      403.7 - 要求客户端证书。
      403.8 - 站点访问被拒绝。
      403.9 - 用户数过多。
      403.10 - 配置无效。
      403.11 - 密码更改。
      403.12 - 拒绝访问映射表。
      403.13 - 客户端证书被吊销。
      403.14 - 拒绝目录列表。
      403.15 - 超出客户端访问许可。
      403.16 - 客户端证书不受信任或无效。
      403.17 - 客户端证书已过期或尚未生效。
      403.18 - 在当前的应用程序池中不能执行所请求的 URL.这个错误代码为 IIS 6.0 所专用。
      403.19 - 不能为这个应用程序池中的客户端执行 CGI.这个错误代码为 IIS 6.0 所专用。
      403.20 - Passport 登录失败。这个错误代码为 IIS 6.0 所专用。
      404 - 未找到请求的内容。
      404.0 - 未找到文件或目录。
      404.1 - 无法在所请求的端口上访问 Web站点。
      404.2 - Web 服务扩展锁定策略阻止本请求。
      404.3 - MIME 映射策略阻止本请求。
      405 - 用来访问本页面的 HTTP 谓词不被允许(方法不被允许)
      406 - 客户端浏览器不接受所请求页面的 MIME 类型。
      407 - 要求进行代理身份验证。
      412 - 前提条件失败。
      413 - 请求实体太大。
      414 - 请求 URI 太长。
      415 - 不支持的媒体类型。
      416 - 所请求的范围无法满足。
      417 - 执行失败。
      423 - 锁定的错误。
      500 - 服务器内部错误。
      500.12 - 应用程序正忙于在 Web 服务器上重新启动。
      500.13 - Web 服务器太忙。
      500.15 - 不允许直接请求 Global.asa.
      500.16 - UNC 授权凭据不正确。这个错误代码为 IIS 6.0 所专用。
      500.18 - URL 授权存储不能打开。这个错误代码为 IIS 6.0 所专用。
      500.100 - 内部 ASP 错误。
      501 - 服务器无法完成请求的功能。
      502 - 服务器用作网关或代理服务器时收到了无效响应。
      502.1 - CGI 应用程序超时。
      502.2 - CGI 应用程序出错。
      503 - 服务不可用。这个错误代码为 IIS 6.0 所专用。
      504 - 网关超时。
      505 - HTTP 版本不受支持。

鲜花

握手

雷人

路过

鸡蛋

最新评论

QQ|手机版|株洲优商网络 ( 湘ICP备14002577号-2  

GMT+8, 2018-4-20 10:34 , Processed in 0.097935 second(s), 23 queries .

Powered by Discuz! X3.2 Licensed

© 2001-2013 Comsenz Inc.

返回顶部