很多地方都提及到robots.txt文件的使用，那么到底什么是robots.txt文件呢？为什么要使用robots.txt文件?我们该怎么设置robots.txt文件以达到网站优化目录的目的呢?

1.什么是robots.txt文件

　　robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

　　当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

2. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。

3. 站长必须使蜘蛛程序远离某些服务器上的目录---保证服务器性能及安全.比如:大多数网站的程序文件夹.数据库文件目录等，因此在robots.txt文件中加入:"Disallow: /data/"是个好方法，这样能够避免将程序等重要文件被蜘蛛索引，可以节省服务器资源保证安全。一般不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等。

下面是Z-BLOG中需要禁止蜘蛛访问的目录,robots.txt文件：

User-agent:*  /www.cqhwbw.com

Disallow: /ADMIN/

Disallow: /CACHE/

Disallow: /CSS/

Disallow: /DATA/

Disallow: /FUNCTION/

Disallow: /IMAGE/

Disallow: /LANGUAGE/

Disallow: /PLUGIN//www.cqtnjd.com

Disallow: /SCRIPT/

Disallow: /THEMES/

Disallow: /cmd.asp

Disallow: /guestbook.asp

Disallow: /view.asp

Disallow: /wap.asp

Disallow: /login.asp/www.cqnuoen.com

3. 如果你的网站是动态网页，并且你为这些动态网页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态页面被蜘蛛索引，以保证这些网页不会被视为含重复内容。

4. robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：

Sitemap: http://www.30ie.com/sitemap.xml

目前对robots.txt表示支持的搜索引擎有Google, Yahoo, Ask and MSN。而中文搜索引擎公司百度，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的站长工具或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。/www.023ts.com

5. 合理使用robots.txt文件还能避免访问时出错。

所以，robots.txt文件的合理应用对我们网站优化是很有帮助的。

关注关注~！~