网页收录问题
1:如何让我的网站(独立网站或者blog)被百度收录?
百度会收录符合用户搜索体验的网站和网页。
为促使百度Spider更快的发现您的站点,您也可以向我们提交一下您的网站的入口网址。提交地址是:http://www.baidu.com/search/url_submit.html。您只需提交首页即可,无需提交详细的内容页面。
百度的网页
2:如何让我的网页不被百度收录?
百度严格遵循搜索引擎Robots协议(详细内容,参见http://www.robotstxt.org/)。
您可以写一个Robots文件以限制您的网站全部网页或者部分目录下网页不被百度收录。具体写法,参见:如何撰写Robots文件。
如果您的网站是在被百度收录之后再设置Robots文件,则Robots文件通常在两周内生效,被文件限制的内容,将从百度搜索结果中移除。
如果您的拒绝被收录需求非常急迫,也可以发邮件给[email protected]请求处理。
3:为什么我的网站内一些不设链接的私密性网页,甚至是需要访问权限的网页,也会被百度收录?
百度Spider对网页的抓取,是通过网页与网页之间的链接实现的。
网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过您的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。
百度Spider的访问权限,和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录,原因有两点:
A. 该内容在Spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化