什么是 Bingbot?
Bingbot 是微软用来收集信息以建立可搜索网络索引的网络爬虫。它为必应搜索引擎提供动力,执行与 Google 的 Googlebot 相同的任务。
历史与活动
Bingbot 于 2010 年 10 月推出。根据Cloudflare Radar 的数据,Bingbot 是全球第三大最活跃的爬虫,AhrefsBot 排名第四。
用户代理字符串
Bingbot 在抓取网站时使用多种用户代理字符串来识别自己。Bingbot 的主要用户代理字符串有
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)Chrome/W.X.Y.Z Safari/537.36
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
尊重网络指令
与其他优秀的搜索机器人一样,Bingbot 也会遵守robots.txt
文件中指定的规则以及链接和页面上的 "nofollow "指令。这意味着你可以通过标准网络协议控制 Bingbot 对网站内容的访问。
其他必应爬虫
除 Bingbot 外,必应还为不同目的运行其他爬虫:
- AdIdxBot:用于必应广告。
- BingPreview:用于生成用于预览的页面快照。
通过了解 Bingbot 及其行为,网站管理员可以优化自己的网站,确保它们被 Bing 搜索引擎正确索引,从而提高搜索排名和知名度。
有关 Bingbot 以及如何针对 Bing 优化网站的更多信息,请访问官方的 Bing 网站管理员工具页面 。