SEO应如何巧妙对网站死链接，重复页面的问题



死 链 接：蜘蛛以前爬取过，但是后来无法访问的链接 我们称为死链接。

错误链接：用户地址输入错误。

重复页面：就不必说了，就是页面内容完全重复而访问地址不同的页面。

首先举个死链接很简单的例子：http://www.cixuanji.org/Html/Faq_s_469.html

而其中Html/Faq_s_469.html就是你网站中应该有的处理网站死链接已经重复页面的txt格式的文档，引擎会通过这个文件来获取你网站哪些该抓取，哪些是你不让他抓取的内容。

好，切入正题。死链接以及重复页面的处理方法：

1、先用死链接检测工具（这里推荐站长工具，口碑比较好）把死链接找出来，然后用robots.txt语法屏蔽掉。

（强调一下这个robots.txt四周后生效）



2、具体要怎么写,我现在教教大家，希望大家耐心的看下去:

首先打开robots.txt

User-agent：定义搜索引擎。

User-agent：* （定义所有搜索引擎，其中*就是代表所有）

Disallow:（禁止访问）

allow:（允许）

例如：User-agent：*   定义所有搜索引擎

Disallow:/admin/      禁止访问admin目录

Allow/admin/aa.html   允许访问admin目录下aa.html这个文件

这样就可以很有效的和引擎握手。当然对你网站的排名也是有一定帮助的。