＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞可以写成
>
>＜META NAME="ROBOTS" CONTENT="NONE"＞
>
>需要注意的是：上述的robots.txt和Robots META标签限制搜索引擎机器人（ROBOTS）抓取站点内容的办法只是一种规则，需要搜饕婊魅说呐浜喜判校⒉皇敲扛鯮OBOTS都遵守的。
>
>目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：
>
>＜META NAME="googlebot" CONTENT="index,follow,noarchive"＞
>
>表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。

>http://www.sun.com/robots.txt
>
>http://www.eachnet.com/robots.txt
>
>5、 常见robots.txt错误
>
>颠倒了顺序：
>错误写成
>
>User-agent: *
>Disallow: GoogleBot
>
>正确的应该是：
>
>User-agent: GoogleBot
>Disallow: *
>
>把多个禁止命令放在一行中：
>例如，错误地写成
>
>Disallow: /css/ /cgi-bin/ /images/
>
>正确的应该是
>
>Disallow: /css/
>Disallow: /cgi-bin/
>Disallow: /images/
>
>行前有大量空格
>例如写成
>
>Disallow: /cgi-bin/
>
>尽管在标准没有谈到这个，但是这种方式很容易出问题。
>
>404重定向到另外一个页面：
>当Robot 访问很多没有设置robots.txt文件的站点时，会被自动404重定向到另外一个Html页面。这时Robot常常会以处理robots.txt文件的方式处理这个Html页面文件。虽然一般这样没有什么问题，但是最好能放一个空白的robots.txt文件在站点根目录下。
>
>采用大写。例如
>
>USER-AGENT: EXCITE
>DISALLOW:
>
>虽然标准是没有大小写的，但是目录和文件名应该小写：
>
>user-agent:GoogleBot
>disallow:
>
>语法中只有Disallow，没有Allow！
>错误的写法是：
>
>User-agent: Baiduspider
>Disallow: /john/
>allow: /jane/
>
>忘记了斜杠/
>错误的写做：
>
>User-agent: Baiduspider
>Disallow: css
>
>正确的应该是
>
>User-agent: Baiduspider
>Disallow: /css/
>
>下面一个小工具专门检查robots.txt文件的有效性：
>
>http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
>
>二、 Robots META标签
>
>1、什么是Robots META标签
>
>Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。具体的形式类似（见黑体部分）：
>
>＜html＞
>
>＜head＞
>
>＜title＞时代营销--***专业门户＜/title＞
>
>＜meta name="Robots" content="index,follow"＞
>
>＜meta http-equiv="Content-Type" CONTENT="text/html; charset=gb2312"＞
>
>＜meta name="keywords" content="营销… "＞
>
>＜meta name="description" content="时代营销网是…"＞
>
>＜link rel="stylesheet" href="/public/css.css" type="text/css"＞
>
>＜/head＞
>
>＜body＞
>
>…
>
>＜/body＞
>
>＜/html＞
>
>2、Robots META标签的写法：
>
>Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。
>
>INDEX 指令告诉搜索机器人抓取该页面；
>
>FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
>
>Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
>
>这样，一共有四种组合：
>
>＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞
>
>＜META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"＞
>
>＜META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW"＞
>
>＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞
>
>其中
>
>＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞可以写成
>
>＜META NAME="ROBOTS" CONTENT="ALL"＞；

robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
>
>当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。
>
>robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
>
>网站 URL
>相应的 robots.txt的 URL
>
>http://www.w3.org/
>http://www.w3.org/robots.txt
>
>http://www.w3.org:80/
>http://www.w3.org:80/robots.txt
>
>http://www.w3.org:1234/
>http://www.w3.org:1234/robots.txt
>
>http://w3.org/
>http://w3.org/robots.txt
>
>2、 robots.txt的语法
>
>"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：
>
>"＜field＞:＜optionalspace＞＜value＞＜optionalspace＞"。
>
>在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：
>
>User-agent:
>
>该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中， "User-agent：*"这样的记录只能有一条。
>
>Disallow :
>
>该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow 开头的URL均不会被robot访问到。例如"Disallow: /help"对/help.htm和/help/index.html都不允许搜索引擎访问，而"Disallow: /help/"则允许robot访问/help.html，而不能访问/help/index.html。
>
>任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"/robots.txt"文件中，至少要有一条Disallow记录。如果 "/robots.txt"是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。
>
>下面是一些robots.txt基本的用法：
>
>禁止所有搜索引擎访问网站的任何部分：
>
>User-agent: *
>Disallow: /
>
>允许所有的robot访问
>
>User-agent: *
>Disallow:
>
>或者也可以建一个空文件 "/robots.txt" file
>
>禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private目录）
>
>User-agent: *
>Disallow: /cgi-bin/
>Disallow: /tmp/
>Disallow: /private/
>
>禁止某个搜索引擎的访问（下例中的BadBot）
>
>User-agent: BadBot
>Disallow: /
>
>只允许某个搜索引擎的访问（下例中的WebCrawler）
>
>User-agent: WebCrawler
>Disallow:
>
>User-agent: *
>Disallow: /
>
>3、 常见搜索引擎机器人Robots名字
>
>名称 搜索引擎
>
>Baiduspider http://www.baidu.com
>
>Scooter http://www.altavista.com
>
>ia_archiver http://www.alexa.com
>
>Googlebot http://www.google.com
>
>FAST-WebCrawler http://www.alltheweb.com
>
>Slurp http://www.inktomi.com
>
>MSNBOT http://search.msn.com
>
>4、 robots.txt举例
>
>下面是一些著名站点的robots.txt：
>
>http://www.cnn.com/robots.txt
>
>http://www.google.com/robots.txt
>
>http://www.ibm.com/robots.txt

对于多媒体、图片等文件，一般是通过链接的锚文本（即，链接文本）和相关的文件注释来判断这些文件的内容。例如有一个链接文字为“张曼玉照片”，其链接指向一张bmp格式的图片，那么网络蜘蛛就知道这张图片的内容是“张曼玉的照片”。这样，在搜索“张曼玉”和“照片”的时候都能让搜索引擎找到这张图片。另外，许多多媒体文件中有文件属性，考虑这些属性也可以更好的了解文件的内容。
>
>　　动态网页一直是网络蜘蛛面临的难题。所谓动态网页，是相对于静态网页而言，是由程序自动生成的页面，这样的好处是可以快速统一更改网页风格，也可以减少网页所占服务器的空间，但同样给网络蜘蛛的抓取带来一些麻烦。由于开发语言不断的增多，动态网页的类型也越来越多，如：asp、jsp、php等。这些类型的网页对于网络蜘蛛来说，可能还稍微容易一些。网络蜘蛛比较难于处理的是一些脚本语言（如VBScript和javascript）生成的网页，如果要完善的处理好这些网页，网络蜘蛛需要有自己的脚本解释程序。对于许多数据是放在数据库的网站，需要通过本网站的数据库搜索才能获得信息，这些给网络蜘蛛的抓取带来很大的困难。对于这类网站，如果网站设计者希望这些数据能被搜索引擎搜索，则需要提供一种可以遍历整个数据库内容的方法。
>
>　　对于网页内容的提取，一直是网络蜘蛛中重要的技术。整个系统一般采用插件的形式，通过一个插件管理服务程序，遇到不同格式的网页采用不同的插件处理。这种方式的好处在于扩充性好，以后每发现一种新的类型，就可以把其处理方式做成一个插件补充到插件管理服务程序之中。
>
>　　更新周期
>
>　　由于网站的内容经常在变化，因此网络蜘蛛也需不断的更新其抓取网页的内容，这就需要网络蜘蛛按照一定的周期去扫描网站，查看哪些页面是需要更新的页面，哪些页面是新增页面，哪些页面是已经过期的死链接。
>
>　　搜索引擎的更新周期对搜索引擎搜索的查全率有很大影响。如果更新周期太长，则总会有一部分新生成的网页搜索不到；周期过短，技术实现会有一定难度，而且会对带宽、服务器的资源都有浪费。搜索引擎的网络蜘蛛并不是所有的网站都采用同一个周期进行更新，对于一些重要的更新量大的网站，更新的周期短，如有些新闻网站，几个小时就更新一次；相反对于一些不重要的网站，更新的周期就长，可能一两个月才更新一次。
>
>　　一般来说，网络蜘蛛在更新网站内容的时候，不用把网站网页重新抓取一遍，对于大部分的网页，只需要判断网页的属性（主要是日期），把得到的属性和上次抓取的属性相比较，如果一样则不用更新。
>
>二、Robots
>
>＜meta name="Robots" contect= "all|none|index|noindex|follow|nofollow"＞
>
>其中的属性说明如下：
>
>设定为all：文件将被检索，且页面上的链接可以被查询；
>
>设定为none：文件将不被检索，且页面上的链接不可以被查询；
>
>设定为index：文件将被检索；
>
>设定为follow：页面上的链接可以被查询；
>
>设定为noindex：文件将不被检索，但页面上的链接可以被查询；
>
>设定为nofollow：文件将不被检索，页面上的链接可以被查询。
>
>-----------------------------------
>我们知道，搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。
>
>对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签。
>
>一、robots.txt
>
>1、 什么是robots.txt？

网站与网络蜘蛛
>
>　　网络蜘蛛需要抓取网页，不同于一般的访问，如果控制不好，则会引起网站服务器负担过重。今年4月，淘宝http://www.taobao.com）就因为雅虎搜索引擎的网络蜘蛛抓取其数据引起淘宝网服务器的不稳定。网站是否就无法和网络蜘蛛交流呢？其实不然，有多种方法可以让网站和网络蜘蛛进行交流。一方面让网站管理员了解网络蜘蛛都来自哪儿，做了些什么，另一方面也告诉网络蜘蛛哪些网页不应该抓取，哪些网页应该更新。
>
>　　每个网络蜘蛛都有自己的名字，在抓取网页的时候，都会向网站标明自己的身份。网络蜘蛛在抓取网页的时候会发送一个请求，这个请求中就有一个字段为User－ agent，用于标识此网络蜘蛛的身份。例如Google网络蜘蛛的标识为GoogleBot，Baidu网络蜘蛛的标识为BaiDuSpider， Yahoo网络蜘蛛的标识为Inktomi Slurp。如果在网站上有访问日志记录，网站管理员就能知道，哪些搜索引擎的网络蜘蛛过来过，什么时候过来的，以及读了多少数据等等。如果网站管理员发现某个蜘蛛有问题，就通过其标识来和其所有者联系。下面是博客中http://www.blogchina.com）2004年5月15日的搜索引擎访问日志：
>
>　　网络蜘蛛进入一个网站，一般会访问一个特殊的文本文件Robots.txt，这个文件一般放在网站服务器的根目录下，http://www.blogchina.com/robots.txt。网站管理员可以通过robots.txt来定义哪些目录网络蜘蛛不能访问，或者哪些目录对于某些特定的网络蜘蛛不能访问。例如有些网站的可执行文件目录和临时文件目录不希望被搜索引擎搜索到，那么网站管理员就可以把这些目录定义为拒绝访问目录。Robots.txt语法很简单，例如如果对目录没有任何限制，可以用以下两行来描述：
>
>　　User-agent: *
>　　Disallow:
>
>　　当然，Robots.txt只是一个协议，如果网络蜘蛛的设计者不遵循这个协议，网站管理员也无法阻止网络蜘蛛对于某些页面的访问，但一般的网络蜘蛛都会遵循这些协议，而且网站管理员还可以通过其它方式来拒绝网络蜘蛛对某些网页的抓取。
>
>　　网络蜘蛛在下载网页的时候，会去识别网页的HTML代码，在其代码的部分，会有META标识。通过这些标识，可以告诉网络蜘蛛本网页是否需要被抓取，还可以告诉网络蜘蛛本网页中的链接是否需要被继续跟踪。例如：表示本网页不需要被抓取，但是网页内的链接需要被跟踪。
>
>　　关于Robots.txt的语法和META Tag语法，有兴趣的读者查看文献[4]
>
>　　现在一般的网站都希望搜索引擎能更全面的抓取自己网站的网页，因为这样可以让更多的访问者能通过搜索引擎找到此网站。为了让本网站的网页更全面被抓取到，网站管理员可以建立一个网站地图，即Site Map。许多网络蜘蛛会把sitemap.htm文件作为一个网站网页爬取的入口，网站管理员可以把网站内部所有网页的链接放在这个文件里面，那么网络蜘蛛可以很方便的把整个网站抓取下来，避免遗漏某些网页，也会减小对网站服务器的负担。
>
>　　内容提取
>
>　　搜索引擎建立网页索引，处理的对象是文本文件。对于网络蜘蛛来说，抓取下来网页包括各种格式，包括html、图片、doc、pdf、多媒体、动态网页及其它格式等。这些文件抓取下来后，需要把这些文件中的文本信息提取出来。准确提取这些文档的信息，一方面对搜索引擎的搜索准确性有重要作用，另一方面对于网络蜘蛛正确跟踪其它链接有一定影响。
>
>　　对于doc、pdf等文档，这种由专业厂商提供的软件生成的文档，厂商都会提供相应的文本提取接口。网络蜘蛛只需要调用这些插件的接口，就可以轻松的提取文档中的文本信息和文件其它相关的信息。
>
>　　HTML等文档不一样，HTML有一套自己的语法，通过不同的命令标识符来表示不同的字体、颜色、位置等版式，如：、、等，提取文本信息时需要把这些标识符都过滤掉。过滤标识符并非难事，因为这些标识符都有一定的规则，只要按照不同的标识符取得相应的信息即可。但在识别这些信息的时候，需要同步记录许多版式信息，例如文字的字体大小、是否是标题、是否是加粗显示、是否是页面的关键词等，这些信息有助于计算单词在网页中的重要程度。同时，对于HTML网页来说，除了标题和正文以外，会有许多广告链接以及公共的频道链接，这些链接和文本正文一点关系也没有，在提取网页内容的时候，也需要过滤这些无用的链接。例如某个网站有“产品介绍”频道，因为导航条在网站内每个网页都有，若不过滤导航条链接，在搜索“产品介绍”的时候，则网站内每个网页都会搜索到，无疑会带来大量垃圾信息。过滤这些无效链接需要统计大量的网页结构规律，抽取一些共性，统一过滤；对于一些重要而结果特殊的网站，还需要个别处理。这就需要网络蜘蛛的设计有一定的扩展性。

　根据SEJ的消息，Google的一名高级工程师及主管Matt Cutts已经正式确认，AdSense派出来的MediaBot在抓取网页内容后，会把部分结果提交至BigDaddy的数据库里。Matt解释说，这是因为两种bot都在不断地抓取网页，因此为了节省资源，MediaBot会帮Googlebot完成部分网页抓取工作。但Matt同时也给出警告，如果你的网站提供给MediaBot的内容与提供给Googlebot的内容完全不同，那么你就会“有麻烦”。因为Google会认为你在***。
>
>　　我认为从Matt给出的讯息里可以证明，在网站上投放了AdSense的广告，的确是有助于你的网站被Google收录。比如，收录得更快更多。但并不一定会提高你的网站排名。有这方面经验的朋友应该会想到其它办法，从Matt的话出发。
>来自幻灭的麦克风

搜索引擎原理－网络蜘蛛和ROBOTS

>搜索引擎原理－网络蜘蛛和ROBOTS
>
>一、网络蜘蛛基本原理
>
>　　网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
>
>　　对于搜索引擎来说，要抓取互联网上所有的网页几乎是不可能的，从目前公布的数据来看，容量最大的搜索引擎也不过是抓取了整个网页数量的百分之四十左右。这其中的原因一方面是抓取技术的瓶颈，无法遍历所有的网页，有许多网页无法从其它网页的链接中找到；另一个原因是存储技术和处理技术的问题，如果按照每个页面的平均大小为20K计算（包含图片），100亿网页的容量是100?000G字节，即使能够存储，下载也存在问题（按照一台机器每秒下载20K计算，需要 340台机器不停的下载一年时间，才能把所有网页下载完毕）。同时，由于数据量太大，在提供搜索时也会有效率方面的影响。因此，许多搜索引擎的网络蜘蛛只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接深度。
>
>　　在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先。
>
>　　广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。深度优先是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易。两种策略的区别，下图的说明会更加明确。
>
>　　由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数。例如，在上图中，A为起始网页，属于0层，B、C、D、E、F属于第1层，G、H属于第2层， I属于第3层。如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。对于网站设计者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。
>
>　　网络蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。当然，网站的所有者可以通过协议让网络蜘蛛不去抓取（下小节会介绍），但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全**的让搜索者查看，这样就需要给网络蜘蛛提供相应的用户名和密码。网络蜘蛛可以通过所给的权限对这些网页进行网页抓取，从而提供搜索。而当搜索者点击查看该网页的时候，同样需要搜索者提供相应的权限验证。

作为一名网主，明白了哪些行为是***，你就应该在允许范围内，去探索如何获得较高排名，以增大网站访问量，让尽可能多的人知道你的产品、服务或了解你本人，只有这样，成功注册才有实际意义。
>
>　　使百度有效收录
>
>　　百度喜欢结构简单的网页，具有复杂结构的网页可能无法顺利登录百度。您在进行网页设计时应尽量：
>
>　　1. 给每个网页加上标题
>
>　　网站首页的标题，建议您使用您的网站名称或公司名称，其它网页的标题建议与每个网页内容相关，内容不同的网页不用相同的标题。
>
>　　2. 不要把整个网页做成一个Flash或是一张图片
>
>　　百度是通过识别网页源代码中的汉字来认识每一个网页的。如果您的整个网页是一个Flash或一张图片，百度在网页中找不到汉字，就有可能不收录您的网页。
>
>　　3. 不对网页做重定向
>
>　　重定向的网页可能不容易登录百度。
>
>　　4.不在网页中使用Frame（框架结构）
>
>　　5.不在网页中使用过分复杂的JavaScript
>
>　　某些Java Script的内容对于搜索引擎是不可见的，所以不能被识别和登录。
>
>　　5.静态网页能更顺利登录百度，动态生成的网页不容易登录百度
>
>　　.如果您的网页url中含有如asp、？等动态特征，网页就可能被认为是动态网页。
>
>　　.如果您的网站中有很多网页必须做成Frame结构或动态网页，那么建议您至少把网站首页做成简单的网页，并且对网站内的一些重要网页，在首页加上链接。
>
>　　6. 不要对搜索引擎进行***
>
>　　***的网站不能登录百度，即使登录后也随时可能被删除。
>
>　　***网站定义
>
>　　对搜索引擎***，是指为了提高在搜索引擎中展现机会和排名的目的，欺骗搜索引擎的行为。
>
>　　以下行为都可能被认为是***：
>
>　　. 在网页源代码中任何位置，故意加入与网页内容不相关的关键词；
>
>　　. 在网页源代码中任何位置，故意大量重复某些关键词。即使与网页内容相关的关键词，故意重复也被视为***行为；
>
>　　. 在网页中加入搜索引擎可识别但用户看不见的隐藏文字。无论是使用同背景色文字、超小字号文字、文字隐藏层、还是滥用图片ALT等方法，都属于***行为；
>
>　　. 故意制造大量链接指向某一网址的行为；
>
>　　. 对同一个网址，让搜索引擎与用户访问到不同内容的网页（包括利用重定向等行为）；
>
>　　. ***行为的定义是针对网站而不是网页的。一个网站内即使只有一个网页***，该网站也被认为是有***行为；
>
>　　. 有链接指向***网站的网站，负连带责任，也会被认为是***（但是，***网站上链接指向的网站，不算***）。
>
>　　***网站害处
>
>　　根据网页的***情况，会受到不同程度的惩罚：
>
>　　. 较轻微的惩罚，是系统在给网页排名时略为降低该网页的排名；
>
>　　. 较常见的惩罚，是***网站的某些关键词（或所有关键词）的排名降到其它任何网站之后；
>
>　　. 较严厉的惩罚，对于***行为和后果特别恶劣的网站，将从百度中消失；
>
>　　. 特别补充，含恶意代码或恶意插件等用户极端反感内容的网页，虽然不是***，但只要用户投诉，一经确认也会被百度拒绝收录；
>

= = = = = = = = = = = = = = = = = = = =

　　　　　　　　致
礼！

　　　　　　　　simon
　　　　　　　　mailtonet@163.com
　　　　　　　　　　2006-06-07

Google官方确认AdSense有助于网页收录

>Google官方确认AdSense有助于网页收录
>
>Google的网页收录的其中一种途径是通过Googlebot的爬行来实现的，也就是说，Google派出它自己的网络蜘蛛，主动去抓取有价值的网页内容。类似地，Google的AdSense也有自己的bot，它的名字为MediaBot。它会自动去到放置了AdSense广告代码的网页，然后对网页内容进行分析，以投放与网页内容相关的广告。但一直以来都有一个争论，那就是到底AdSense的MediaBot与Googlebot有什么区别？MediaBot在判断广告相关网页的时候，会不会也对这个网站在Google收录及排名等方面有一定的好处呢？也就是说，投放了AdSense广告，会不会有助于改善自己的网站的Google收录及排名呢？

　网页重定向：使用META刷新标记、CGI程序、Java、Javascript或其它技术，当用户点击一个链接时，自动跳到另一个网页。有人正是用这种方法，欺骗人们进入并不想去的地方。因此，有些搜索引擎（如Infoseek），对此类网页也很反感，一般不予登记。
>
>　　滥用Meta标记关键字：有人为增加关键字的出现次数，在语句中，重复关键字，或者加入与网站内容毫不相关的热门词汇。这种***行为，大部分搜索引擎也能识破。
>
>　　滥用门户网页：门户网页（也称“桥页”），是指为了获得好的排名，而专门针对各搜索引擎排序算法设计的网页。尽管今天，多数搜索引擎并不反对这种作法。但俗话说：“物极必反。”建立太多具有相近关键字的门户网页，会招致搜索引擎的反感而无法成功注册。
>
>　　连续注册：有人为加大保险系数，在一天之内，将一个网页重复提交给同一个搜索引擎，其实，这种作法适得其反。
>
>　　重复注册：有人以为，将一个网页简单复制成多个网页，然后，给它们安上不同的名字，并分别予以注册，会增大访问量，结果，搜索引擎会认为你在滥用它，而拒绝登记你的网站。
>
>　　偷换网页：是指一个网页成功注册并获得较好排名后，用另一个内容无关的网页（如产品广告）来替换它的行为。
>
>　　张冠李戴：上面提到的门户网页，只适用于Altavista这类自动登录的搜索引擎，如果提交给Yahoo这类人工分类的目录式搜索引擎，它就会认为你在***。
>
>　　突破页数限制：一些搜索引擎允许每个用户每天或每周提交的网页数量是有限制的。例如，Altavista每天允许10页；HotBot允许每天50页；Excite允许每周25页；Infoseek允许每天50页（但使用e-mail注册，没有页数限制）。请注意，这并不是说，搜索引擎每天或每周只能为你登录以上页数，而只是允许你提交的页数。还不明白？那就举个例吧，对于Excite而言，每周只允许你提交25页，如果你的网站有1000页，那该怎么办呢？就提交25页即可！余下的Excite会自己检查到，并将编入索引中。如果你强行突破这个限制，那么，搜索引擎就会认为你在***，反而不予注册。
>
>　　上面这些条款似乎很明显、很容易区分，但有时我们却可能不知不觉犯上。例如，你有一个网页，背景是白色，在这个网页上，你设计了一个表格，其背景为蓝色、文字为白色，这种设计应该说也是完全正常的，但如果你到搜索引擎Infoseek去注册，它却不理你。为什么呢？它认为你在***！在Infoseek看来，表格中的白色文本，实际是置于白色的网页背景上，也就是说，网页文本与背景颜色相同，这就符合“鬼页法”的***特征。而这一点，可能你自己根本没有意识到。还有一例，有时因设计需要，或者网站已迁移到其它地方，通常我们会用到网页重定向，但对于Infoseek等搜索引擎而言，这也是不可容忍的***行为。另外，Infoseek等搜索引擎还要求，不要在多个网页上布置指向同一个网页的链接。例如，很多人喜欢在各个网页放上“返回主页”的链接，其实就属于这种情况。这种司空见惯的设计，居然也被看成***，真是太苛刻了。不过，对此Infoseek在真正执行时，似乎也并不是很严格，一些这样设计的网页，它照样登录了（你也碰碰运气？）。总体上说，这些限制都是为了对付真正的***者，使搜索引擎的检索结果更加准确有效，但事实上，的确也错怪了一些好人。如果万一你碰上这种情况怎么办，搜索引擎到底会怎样处罚你呢？
>
>　　跟不少网主一样，笔者以前对此不甚了解，以为自己的某个网页违项，会导致整个网站被封杀。其实，事实并非如此！因为运作搜索引擎的人也知道，有时他们搜索引擎判定的“***”，实际是一种正常合法的设计，只是因为搜索引擎自身还不够“聪明”，无法准确判断是故意***，还是偶然巧合。所以，他们通常不会因为某网页象在***，就拒绝登记整个网站，而只是对有违规嫌疑的网页进行处罚——降低排名或不予登记，而其它的合法网页不会受到影响。此时，你只需将这个网页修改，并重新注册即可。除非你有意***，肆无忌惮违反上述多项规则，或者由于你提交的大量垃圾网页，对搜索结果造成明显不良影响，那么，你的整个网站将被永远踢出门外。当然，也有个别搜索引擎（如HotBot）政策更加宽松，甚至对故意***者，也没有永远拒绝登记的规定。只要它认为你没有攻击或侵害到它，一般不会删掉你整个网站的索引，不过，这个尺度掌握在人家手里，劝你还是别去试它的耐性。

怎样才能让百度及时更新网站的收录数据？

你有没有发现搜索引擎已经很久没有收录你的网站了，有没有方法能让搜索引擎及时更新你的网站收录数据，不知道那么就跟我来吧！（此处以百度搜索引擎为例）
  1.在百度搜索引擎输入:site:www.zizhong.com.cn (此处就是你网站的网址)得到网站收录数据.
  百度一下，找到相关网页29600篇，用时0.001秒

  2.在百度最底下找到
  1 [2] [3] [4] [5] [6] [7] [8] [9] [10] 下一页

  每10页点下去,一直点到最后一页,当出现
  提示：为了提供最相关的结果，我们省略了一些内容相似的条目，点击这里可以看到所有搜索结果。   再点击提示上的连接.

  3.最后再次输入:site:www.zizhong.com.cn,是不是发现比原来少了很多页数了?不要害怕,已经达到让百度更新收录数据的目的了.一天以后就会发现重新收录更多了!
  注意：如果你的网站有新的内容，而又未被收录的话，经验证会有有明显效果的。什么？没有新内容？？那就增加你的网站内容吧…………

怎样避免被搜索引擎视为***

>一个网站要想成功注册，它起码应具备两个条件，一是网站本身要有较好的内容和设计，二是网站没有***行为。这里所谓的“***”，是指采用一些特殊的、有悖常规的网页设计手法，以期提高网站排名的行为。如何设计好网站，相关的资料很多，本文就不废话了。这里主要谈谈后者，即在提高网站排名的同时，如何避免被搜索引擎视为***而拒绝注册。 那么，在搜索引擎看来，哪些行为算***呢？这里罗列了一下，从中你可看到，现在有些人还视为“密技”的东西，其实已经过时了。
>
>　　堆砌页面关键字：为了增加某个词汇在网页上的出现频率，而故意重复它。这是有人常用的花招，不过，现在很多搜索引擎都能识破它。它们通过统计网页单词总数，判断某个单词出现的比例是否正常。一旦超过“内定标准”，就对你的网页说“ByeBye”了。
>
>　　放置隐形文本：所谓的“鬼页法”。为了增加关键字数量，网页中放一段与背景颜色相同的、包含密集关键字的文本，访客看不到，可搜索引擎却能找到，过去一度还真能提高网站排名，但现在，主要搜索引擎都能识别出来，照样玩不通了。
>
>　　安插微型文本：与“鬼页法”相似，只是文本更些更分散、更隐蔽。但是，对于敏感的搜索引擎来说，仍然是枉费心机。