据统计数据来看，容量最大的搜索引擎数据库也只是抓取了整个互联网网页的百分之四十左右，最大的原因就是为了避免数据数据量过大，影响搜索效率，所以，蜘蛛根据自己的习性只是抓取那些重要的网页，它的评判依据就是网页链接的深度，首先它会抓取初始网页链接的所有网页，然后再选择其中一个链接网页继续抓取，当然它不会无休止的抓下去，它认为浅度链接才是优质的网页，这也符合我们考虑问题的习惯，总把重要的东西摆在最前面。