科普信息网

蜘蛛搜索引擎是什么?搜索引擎蜘蛛抓取是什么意思?

发布时间:2022-05-15 18:05:01 来源:PHP中文网 责任编辑:caobo

搜索引擎蜘蛛是指:网络爬虫。网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。每个搜索引擎都有自己的蜘蛛,搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

什么是搜索引擎蜘蛛?

搜索引擎蜘蛛简称网络爬虫(webcrawler),网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

我们可以将互联网理解成一张巨大的“蜘蛛网”,而搜索引擎蜘蛛是类似实质的“机器人”。蜘蛛的主要任务就是在巨大的蜘蛛网(互联网)中浏览信息,然后把这些信息都抓取到搜索引擎的服务器上,然后建立索引库。就好比机器人浏览我们的网站,然后把内容保存到自己的电脑上。

每个搜索引擎都有自己的蜘蛛,搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

国内各大搜索引擎蜘蛛名称:

百度:百度spider

谷歌:googlebot

搜狗:sogou spider

搜搜:Sosospider

360搜索:360Spider

有道:YodaoBot

雅虎:Yahoo Slurp

必应:msnbot

Msn:msnbot

标签: 蜘蛛搜索引擎 蜘蛛搜索引擎是什么 搜索引擎蜘蛛爬虫 搜索引擎蜘蛛抓取

上一篇:研究确认:全球五大极端热浪天气远比去年北美致命
下一篇:最后一页

新闻排行