认识了很多站长,大多数会使用robots.txt文件,只有40%左右的站长不知道robots.txt文件的重要性。当然了,如果你的网站完全没有让搜索引擎教程禁止的内容,可以不用robots.txt文件。
到底robots.txt是何许人也?
robots.txt是一个纯文本文件,它就像网站地图一样,给搜索引擎指明道路。。当搜索引擎蜘蛛爬取网站的时候,一般会确实你网站的目录下是否有robots.txt这个文件。如果有的话,会按照文件的内容来爬取该爬的网站内容。如果没有这个文件,蜘蛛就会跟着链接直接爬取。
下面大家看看淘宝的robots.txt文件:
可以看到,淘宝再一次屏弊了百度蜘蛛的爬取工作,我们再来看看下面这个收录图:
只见二级域名或三级以后的页面了。
robots.txt究竟有什么好处呢?
1、可以禁止对私密文件的爬取工作。比如说你的网站后台、数据库教程,管理程序。如果没有配置好robots.txt文件,搜索引擎很有可能会索引那些所谓的“临时文件”。
2、方便搜索引擎爬取工作。比如说你的网站很大,我看到过一个网站,整个网站有50多G,打开比腾讯还要慢。如果不配置好robots.txt文件,蜘蛛爬取工作就会很费力,另外,太多的蜘蛛访问,甚至会影响你网站的正常访问。
3、减少带宽。robots.txt可以制止不必要爬取工作,如果你的是图片站或美女站的话,没设置好robots.txt文件,就会浪费大量的带宽了。]
4、保证网站排名不受影响。这时主要说说网站内容重复性问题,可能这个问题不大,但一旦存在有重复内容,就会受到搜索引擎惩罚了,特别是百度。所以配置好robots.txt很重要!
创造与魔法 安卓版v1.0.0750
创造与魔法是一款开放世界手游,在游戏中玩家可探索这个奇妙的世
创造与魔法修改版 最新版v1.0.0750
创造与魔法无限点券版是款探索冒险游戏,该款游戏的操作还是蛮自
战争与文明官方版本 安卓版v1.7.16
战争与文明是一款由上海邮通科技有限公司开发的战争策略游戏,这
迷你世界0元领皮肤无限迷你币版 最新安卓版v1.43.0
迷你世界0元购买皮肤版是这款开放沙盒冒险建造游戏的特殊破解版
创造与魔法无限经验版 安卓版v1.0.0750
创造与魔法无限经验版是款可以改造环境,整个游戏的自由度还是蛮