|
主题:网站内容及标题的改动Robots.txt [收藏主题] |
一、robots.txt文件惹的祸 一般来说,出现这种情况就是当Robots.txt中设置某一个特定URL为"nofollow、noindex",虽然这个指令告诉搜索引擎不要跟踪,以及收录这条链接。但是如果有一定数量的外链指向这条链接,搜索引擎也许会收录该URL。而此时的标题则有可能为URL,描述则为空。当然,出现这种情况多为GOOGLE搜索引擎。百度收录"nofollow、noindex"链接比较罕见,但也不排除这个可能。 二、网站内容及标题的改动 这是比较严重的情况,比如你的网站的标题、描述、合肥最好的乙******或URL路径做了全部或大部分的修改调整后。这样会造成大量的死页面,就会失去搜索引擎的信任,当页面从搜索引擎消失以后,由于以前给该页面做外部链接,搜索引擎又开始收录这个页面,这个时候描述也极有可能是空的。 在网站改版或大范围改动后,建议最好设置好robots禁止抓取错误页面及404错误页面的制作,合肥******病最好的***这样一方面可以降低用户流失,另一方面可以告诉蜘蛛这是一个错误的的地址,禁止蜘蛛抓取不存在的网页,在此期间保持为网站更新原创内容及高质量的外链。 三、百度对数据的抓取能力不够 据观察,出现这种情况主要是百度对数据的抓取能力不够强。长春最好的***病******尤其是使用CDN的网站,一般来说百度爬虫缓存域名对应服务器IP的时间是超过1天,蜘蛛爬网站的时候,没有按照dns协议去缓存dns记录,而是缓存dns记录1天以上,所以当CDN换了IP,百度蜘蛛在一天内会还一直爬不能访问的旧服务器IP。这样就会造成某个节点的数据不能被抓取的现象,从而出现网站标题和描述不能正常显示。 |
|
支持(0) | 反对(0) 顶端 底部 |
<上一主题 | 下一主题 > |