|
主题:百度蜘蛛的工作原理 [收藏主题] | 转到: |
以下内容只有回复后才可以浏览,请先登录! 百度是如何收录到那么多网页的呢?这个百度用以抓取互联网上数以亿计的网页的程序,就叫做Baiduspider - 百度蜘蛛。它是一个程序,夜以继日得在互联网上找寻新的URL,接着抓取URL上的内容,返回到百度的网页暂存数据库。 百度用来抓取网页内容的程序,叫做Baiduspider,抓取其他内容的蜘蛛,则是新的名字: 产品名称 对应user-agent 网页搜索 Baiduspider |
|
支持(19) | 反对(19) 顶端 底部 |
<上一主题 | 下一主题 > |