注册
找回密码
账号 记住
2327
2
138
0
我的robots.txt文件格式如下:
# robots.txt file start
# Exclude Files From All Robots:User-agent: *Disallow: /ks_clsDisallow: /ks_data
..........# End robots.txt file
那如何屏蔽掉根目录下的单独文件呢 是不是和屏蔽目录一样的格式?需不需要加文件的扩展名
2059
1
什么是robots.txt文件? 搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。 您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。