1.百度搜索
参考:http://help.baidu.com/question?prod_id=99&class=476&id=2996
httPS://ziyuan.baidu.com/wiki/990
https://ziyuan.baidu.com/wiki/963
Baiduspider-render/2.0
Baiduspider/2.0
baiduboxapp/11.3.6.10
baiduboxapp/10.12.0.13
索引擎百度各个产品使用不同的user-agent:
网页搜索 Baiduspider
移动搜索 Baiduspider
渲染抓取 Baiduspider-render
手机百度 baiduboxapp
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
商务搜索 Baiduspider-ads
2.360搜索
参考:https://www.so.com/help/spider_ip.html
360Spider
3.必应搜索
参考:https://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0
bingbot/2.0
标准爬虫Bingbot
旧爬虫(仍在使用)MSNBot
媒体 MSNBot-Media
广告AdIdxBot
快照BingPreview
4.搜狗搜索
参考:http://www.sogou.com/docs/help/webmasters.htm#07
Sogou web spider/4.0
5.谷歌搜索
参考:https://support.google.com/webmasters/answer/1061943
Googlebot/2.1
6.Yandex搜索
YandexBot/3.0
7.神马搜索
YisouSpider/5.0