账号通
    

账号  

密码  

1485

查看

0

回复
主题:网站内容及标题的改动Robots.txt [收藏主题]  
zzlsylnet 当前离线

43

主题

0

广播

0

粉丝
添加关注
级别:学前班

用户积分:64 分
登录次数:21 次
注册时间:2011/5/18
最后登录:2011/8/19
zzlsylnet 发表于:2011/7/4 17:13:12   | 只看该作者 查看该作者主题 楼主 
科汛在线商城系统(NET)

  一、robots.txt文件惹的祸

  一般来说,出现这种情况就是当Robots.txt中设置某一个特定URL为"nofollow、noindex",虽然这个指令告诉搜索引擎不要跟踪,以及收录这条链接。但是如果有一定数量的外链指向这条链接,搜索引擎也许会收录该URL。而此时的标题则有可能为URL,描述则为空。当然,出现这种情况多为GOOGLE搜索引擎。百度收录"nofollow、noindex"链接比较罕见,但也不排除这个可能。

  二、网站内容及标题的改动

  这是比较严重的情况,比如你的网站的标题、描述、合肥最好的乙******或URL路径做了全部或大部分的修改调整后。这样会造成大量的死页面,就会失去搜索引擎的信任,当页面从搜索引擎消失以后,由于以前给该页面做外部链接,搜索引擎又开始收录这个页面,这个时候描述也极有可能是空的。

  在网站改版或大范围改动后,建议最好设置好robots禁止抓取错误页面及404错误页面的制作,合肥******病最好的***这样一方面可以降低用户流失,另一方面可以告诉蜘蛛这是一个错误的的地址,禁止蜘蛛抓取不存在的网页,在此期间保持为网站更新原创内容及高质量的外链。

  三、百度对数据的抓取能力不够

  据观察,出现这种情况主要是百度对数据的抓取能力不够强。长春最好的***病******尤其是使用CDN的网站,一般来说百度爬虫缓存域名对应服务器IP的时间是超过1天,蜘蛛爬网站的时候,没有按照dns协议去缓存dns记录,而是缓存dns记录1天以上,所以当CDN换了IP,百度蜘蛛在一天内会还一直爬不能访问的旧服务器IP。这样就会造成某个节点的数据不能被抓取的现象,从而出现网站标题和描述不能正常显示。

 
  支持(0) | 反对(0) 回到顶部顶端 回到底部底部
<上一主题 | 下一主题 >
Powered By KesionCMS Version X1
厦门科汛软件有限公司 © 2006-2016 页面执行0.06250秒 powered by KesionCMS 9.0