几个主流搜索引擎蜘蛛的名称
搜索引擎蜘蛛(又叫爬虫、Crawler、Spider等)是搜索引擎的一个自动程序。它的作用是访问互联网上的网页,建立索引数据库,使用户能在搜索引擎中搜索到你网站的网页。每个搜索引擎的蜘蛛名字都是不一样的,接下来小编为你介绍国内几个主流搜索引擎蜘蛛的名称。
1. Google蜘蛛名称
1) Googlebot:从Google的网站索引和新闻索引中抓取网页
2) Googlebot-Mobile针对Google的移动索引抓取网页
3) Googlebot-Image:针对Google的`图片索引抓取网页
4) Mediapartners-Google:抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下,Google才会使用此漫游器来抓取您的网站。
5) Adsbot-Google:抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下,Google才会使用此漫游器。
2. 百度蜘蛛名称:Baiduspider 首字母B大写,其余为小写
3. 雅虎(Yahoo!)蜘蛛名称:
1)Yahoo!搜索蜘蛛名称:Yahoo! Slurp。
2)Yahoo!搜索引擎广告蜘蛛:Yahoo!-AdCrawler。 用来抓取Yahoo!搜索引擎广告登陆页网页
4. 有道蜘蛛名称:YodaoBot
5. 腾讯搜搜soso蜘蛛名称:Sosospider 首字母S大写,其余为小写
6. 搜狗(sogou)蜘蛛名称:sogou spider
7. Live蜘蛛名称
1)MSNBot:Main web crawler (www.live.com)
2)MSNBot-Media:Images & all other media (images.live.com)
3)MSNBot-NewsBlogs:News and blogs (search.live.com/news)
4)MSNBot-Products:Products & shopping (products.live.com)
5)MSNBot-Academic:Academic search (academic.live.com)
【几个主流搜索引擎蜘蛛的名称】相关文章:
5.搜索引擎营销方法
6.搜索引擎抓取原理