很多站长都发有发现一个问题:百度spider光顾过于频繁,已超越服务器承受能力。而51统计网经过和广大站长研究以及实验发现,Baiduspider对站点的抓取并无异常,而那些spider极有可能是假的蜘蛛,是个“李鬼”。
那么,我们应该如何通过IP来判断spider是不是来自百度搜索引擎的呢?
可以通过DNS反查方式来解决这个问题。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:
1、在linux平台下,可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名。
2、在windows平台或者IBM OS/2平台下,可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp的格式命名。
3、在mac os平台下,你可以使用dig 命令反解ip来判断是否来自百度spider的抓取。打开命令处理器,输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来
自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp的格式命名。
注意:非 *.baidu.com 或 *.baidu.jp 格式命名的,即为假的为冒充。
创造与魔法 安卓版v1.0.0750
创造与魔法是一款开放世界手游,在游戏中玩家可探索这个奇妙的世
创造与魔法修改版 最新版v1.0.0750
创造与魔法无限点券版是款探索冒险游戏,该款游戏的操作还是蛮自
战争与文明官方版本 安卓版v1.7.16
战争与文明是一款由上海邮通科技有限公司开发的战争策略游戏,这
迷你世界0元领皮肤无限迷你币版 最新安卓版v1.43.0
迷你世界0元购买皮肤版是这款开放沙盒冒险建造游戏的特殊破解版
创造与魔法无限经验版 安卓版v1.0.0750
创造与魔法无限经验版是款可以改造环境,整个游戏的自由度还是蛮