为了抓取网上尽量多的页面，搜素引擎蜘蛛会跟踪页面上的超链接，从一个页面爬到下一个页面。整个互联网是由相互链接的网站及页面组成的。从理论上说，蜘蛛从任何一个页面出发，顺着超链接都可以爬行到网上的所有页面。