发布于 由影子

常见搜索引擎蜘蛛user-agent标识

1.百度搜索

参考:http://help.baidu.com/question?prod_id=99&class=476&id=2996

https://ziyuan.baidu.com/wiki/990

https://ziyuan.baidu.com/wiki/963

Baiduspider-render/2.0

Baiduspider/2.0

baiduboxapp/11.3.6.10

baiduboxapp/10.12.0.13

 

索引擎百度各个产品使用不同的user-agent:

网页搜索 Baiduspider

移动搜索 Baiduspider

渲染抓取 Baiduspider-render

手机百度 baiduboxapp

图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
商务搜索 Baiduspider-ads

 

2.360搜索

参考:https://www.so.com/help/spider_ip.html

360Spider

 

3.必应搜索

参考:https://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0

bingbot/2.0

 

标准爬虫Bingbot

旧爬虫(仍在使用)MSNBot

媒体 MSNBot-Media

广告AdIdxBot

快照BingPreview

 

4.搜狗搜索

参考:http://www.sogou.com/docs/help/webmasters.htm#07

Sogou web spider/4.0

 

5.谷歌搜索

参考:https://support.google.com/webmasters/answer/1061943

Googlebot/2.1

 

抓取工具 用户代理令牌（产品令牌） 完整的用户代理字符串
APIs-Google APIs-Google APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense Mediapartners-Google Mediapartners-Google
AdsBot 移动网络 Android

（检查 Android 网页广告质量）

 AdsBot-Google-Mobile Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot 移动网络

（检查 iPhone 网页广告质量）

 AdsBot-Google-Mobile Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot

（检查桌面设备网页广告质量）

 AdsBot-Google AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
 Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
 Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
 Googlebot-Video/1.0
Googlebot（桌面版） Googlebot
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36或（很少使用）：
  • Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot（智能手机版） Googlebot

 

 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mobile AdSense Mediapartners-Google （各类移动设备）(compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
移动应用 Android

（检查 Android 应用页面广告质量。遵守 AdsBot-Google 漫游器规则。）

 AdsBot-Google-Mobile-Apps AdsBot-Google-Mobile-Apps
Feedfetcher FeedFetcher-Google

不遵循 robots.txt 规则- 查看原因

 FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
Google Read Aloud Google-Read-Aloud

不遵循 robots.txt 规则- 查看原因
  • 现用代理：
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • 曾用代理（已弃用）：
    google-speakr

 

 

6.Yandex搜索

YandexBot/3.0

 

 

7.神马搜索

YisouSpider/5.0