世界各大搜索引擎的蜘蛛名称列表-搜索引擎技术

作者:袖梨 2022-07-02
本文记录了全世界比较出名的Robots.txt 列表需要设置的搜索蜘蛛。如何设置那个目录不想被搜索引擎收录的可参照下去设置。
 
当然也必须从Robots.txt 去设置


下列为比较出名的搜索引擎蜘蛛名称:
Google的蜘蛛: Googlebot
百度的蜘蛛:baiduspider
Yahoo的蜘蛛:Yahoo Slurp
MSN的蜘蛛:Msnbot

Altavista的蜘蛛:Scooter
Lycos的蜘蛛: Lycos_Spider_(T-Rex)
Alltheweb的蜘蛛: FAST-WebCrawler/
INKTOMI的蜘蛛: Slurp

如需要参考的可以参照本文:
User-agent(用户代理设置):(蜘蛛名字)
拒绝:(文件名字)


User-agent: Black Hole
Disallow: /
User-agent: Titan
Disallow: /
User-agent: WebStripper
Disallow: /


User-agent: NetMechanic
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: EmailCollector
Disallow: /


User-agent: EmailSiphon
Disallow: /


User-agent: WebBandit
Disallow: /


User-agent: EmailWolf
Disallow: /


User-agent: ExtractorPro
Disallow: /
User-agent: CopyRightCheck
Disallow: /


User-agent: Crescent
Disallow: /
User-agent: NICErsPRO
Disallow: /


User-agent: Wget
Disallow: /
User-agent: SiteSnagger
Disallow: /


User-agent: ProWebWalker
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: mozilla/4
Disallow: /
User-agent: mozilla/5
Disallow: /


User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows NT)

相关文章

精彩推荐