1、蜘蛛名称介绍
在网站日志中,蜘蛛名称一般有一下几类:百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider 。在日志中,只要搜索以上蜘蛛名称,就可以看到该蜘蛛类型的爬取痕迹。
2、蜘蛛爬取返回类型
在蜘蛛爬取后会返回代码,通过查看贷款状态可以看到爬取结果,主要HTTP状态码有一下几类:
(1)200代码,表示蜘蛛爬取正常。
(2)304代码,表示自从上次抓取后,该内容没有更新。一般情况下,网站的图片经常会返回该值。
(3)404代码,访问的这个链接是错误链接。这个错误链接,一方面来自原本存在后来删除了网页,另一方面可能来自本来就不存在,但其他人外链了这么个死链接。
(4)302代码,表示临时重定向。
(5)301代码,表示永久重定向。
(6)500代码,表示程序有错。
3、日志代码解读
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2013-12-22 16:00:39
#Fields: date time s-sitename s-computername s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs-version cs(User-Agent) cs(Cookie) cs(Referer) cs-host sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken
date表示记录访问日期;
time访问时间;
s-sitename表示你的虚拟主机的代称。
s-ip访问者IP;
cs-method表示访问方法,常见的有两种,一是GET,就是平常我们打开一个 URL访问的动作,二是POST,提交表单时的动作;
cs-uri-stem就是访问哪一个文件;
cs-uri-query是指访问地址的附带参数,如asp文件?后面的字符串id=12等等,如果没有参数则用-表示;
s-port 访问的端口;
cs-username 访问者名称;
c-ip 来源ip;
cs(User-Agent)访问来源;
sc-status状态,200表示成功,403表示没有权限,404表示打不到该页面,500表示程序有错;
sc-substatus 服务端传送到客户端的字节大小;
cs–win32-statu客户端传送到服务端的字节大小;
具体案例分析:
2013-12-22 18:47:12 W3SVC2137573334 D-901195C886694 119.147.151.150 GET /a.aspx id=2230&TypeId=91 80 - 123.125.71.28 HTTP/1.1 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) - - www.111com.net 200 0 0 59004 243 2250
这段日志表示,Baiduspider:表示蜘蛛爬取类型为百度蜘蛛,GET /a.aspx id=2230&TypeId=91表示蜘蛛爬取文件名为a.aspx id=2230&TypeId=91。返回结果为200。
小提示
如果你希望更精准分析网站日志可以尝试使用专用的工具来进行分析如有iis日志分析工具与apache日志专业分析工具哦。
敢达决战官方正版 安卓版v6.7.9
下载敢达决战 安卓版v6.7.9
下载像素火影骨架佐助 (Perseverance Fire Shadow)手机版v1.16
下载要塞英雄 安卓版v33.20.0-39082670-Android
下载梦想城镇vivo最新版本 安卓版v12.0.1
梦想城镇vivo版是这款卡通风模拟经营类手游的渠道服版本,玩
怦然心动的瞬间 安卓版v1.0
怦然心动的瞬间是一款真人向的恋爱互动游戏,在游戏中玩家将扮演
曼尼汉堡店游戏 安卓版v1.0.3
曼尼汉堡店是一款非常好玩的精品恐怖类型冒险游戏,在这款游戏中
现代总统模拟器去广告版 安卓版v1.0.46
现代总统模拟器是一款休闲养成类游戏,可能对于不少的玩家来说都
现代总统模拟器付费完整版 安卓版v1.0.46
现代总统模拟器高级版在商店是需要付费的,相对于普通版本,高级