账号通
    

账号  

密码  

2329

查看

2

回复
主题:如何使用robots使单个文件不被搜索引擎收录 [收藏主题]  
force0117 当前离线

138

主题

0

广播

0

粉丝
添加关注
级别:一年级

用户积分:978 分
登录次数:122 次
注册时间:2006/10/16
最后登录:2014/4/8
force0117 发表于:2006/11/29 10:41:00   | 显示全部帖子 查看该作者主题 楼主 
做在线知识付费 选科汛云开店

我的robots.txt文件格式如下:

# robots.txt file start

# Exclude Files From All Robots:
User-agent: *
Disallow: /ks_cls
Disallow: /ks_data

..........
# End robots.txt file

那如何屏蔽掉根目录下的单独文件呢 是不是和屏蔽目录一样的格式?需不需要加文件的扩展名

 
  支持(0) | 反对(0) 回到顶部顶端 回到底部底部
force0117 当前离线

138

主题

0

广播

0

粉丝
添加关注
级别:一年级

用户积分:978 分
登录次数:122 次
注册时间:2006/10/16
最后登录:2014/4/8
force0117 发表于:2006/11/29 12:37:00   | 显示全部帖子 查看该作者主题 沙发 
做在线知识付费 选科汛云开店
以下是引用乖宝宝在2006-11-29 11:45:37的发言:
什么意思?

什么是robots.txt文件?
搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。

 
  支持(0) | 反对(0) 回到顶部顶端 回到底部底部
<上一主题 | 下一主题 >
Powered By KesionCMS Version X1
厦门科汛软件有限公司 © 2006-2016 页面执行0.09375秒 powered by KesionCMS 9.0