User-Agent: 无敌超级伪装技术揭秘(无敌超级)(超级无敌exaid)

访客 161 0

当使用Python爬虫来提取网站内容时,如果没有设置请求头(headers),就会被网站管理员认定为机器爬虫。这是因为Python默认的user-agent是类似于Python-urllib/2.1的标识。因此,网站管理员会根据请求中的user-agent来判断是否是机器爬虫。为了避免这种情况,我们需要伪装user-agent,并模拟成真实浏览器去提取内容。以下是一些常用的浏览器user-agent列表:

 

Chrome

 

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",

Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11可以改写为: 用户代理字符串为Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20。

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6可以改写为:使用Windows NT 6.1操作系统的用户,通过Webkit浏览器内核版本为536.6的Chrome浏览器20.0.1092版进行访问。同时,该用户还使用Safari浏览器内核版本为536。

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",

Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1 可以改写为: 用户使用的是Chrome浏览器版本19.77.34.5,运行在Windows NT 6.2操作系统上,并且支持Webkit引擎和Safari渲染引擎。

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5 可以改写为: 用户代理字符串是 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.

"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",

Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3 可以改写为:使用基于Gecko内核的WebKit浏览器,版本号为19.0.1063,在Windows XP操作系统上运行,并支持Safari 536.3引擎。

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3 可以改写为:“这是一个使用Macintosh操作系统和Intel处理器的用户代理字符串,版本号为10_8_0。它基于WebKit浏览引擎,内核版本号为536.3。同时,它还是Chrome浏览器的一个早期版本(19.0.1063.0),并且支持Safari浏览器(版本号也是536)。”

Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3可以改写为:使用基于Gecko内核的WebKit浏览器引擎,版本号为19.0.1062,兼容性类似于Safari浏览器,运行在Windows NT 6.2操作系统上。

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",

Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3 可以改写为:这是一个用户代理字符串,表示使用的浏览器是Chrome版本19.0.1061.1,操作系统为Windows NT 6。2,并且基于WebKit引擎开发,同时也支持Safari浏览器的功能。

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3 可以改写为: 这是一个用户代理字符串,表示使用的是Chrome浏览器版本19.0.1061.1,在Windows 7操作系统下运行。它基于WebKit引擎,支持类似Gecko的渲染方式,并且兼容Safari浏览器的功能。

Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3 是一个用户代理字符串,用于标识用户使用的浏览器和操作系统。

Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3 是一个用户代理字符串,它表示使用的是 Windows NT 6.2 操作系统,并且使用了基于 WebKit 渲染引擎的浏览器,具体版本号为 Chrome 19.0.1061。同时,该浏览器也支持 Safari 的功能和特性。

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24 可以改写为: 这是一个用户代理字符串,它显示了使用的操作系统(Linux x86_64)和浏览器(Chrome 19.0.1055.1)版本信息。该浏览器基于WebKit引擎,并支持类似Gecko的渲染引擎。同时,它还兼容Safari 535.24版本的功能。

"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",

Firefox

 

Mozilla/5.0 (Macintosh; U; Mac OS X Mach-O; en-US; rv:2.0a) Gecko/20040614 Firefox/3.0.0 可以改写为: 这是一个用户代理字符串,它表示使用的是 Mozilla Firefox 3.0.0 版本浏览器,运行在 Mac OS X Mach-O 操作系统上。

Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.0.3) Gecko/2008092414 Firefox/3.0.3 可以改写为: 用户使用的是 Firefox 3.0.3 浏览器,操作系统为 Mac OS X 10.5 版本,语言设置为英文(美国),并且使用了 Gecko 引擎版本号为 2008092414。

"Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; en-US; rv:1.9.1) Gecko/20090624 Firefox/3.5",

Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.2.14) Gecko/20110218 AlexaToolbar/alxf-2.0 Firefox/3.6.14 是一个用户代理字符串,用于标识使用的浏览器和操作系统版本。

Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15 可以改写为:使用的是 Mozilla Firefox 3.6.15 版本,运行在 Mac OS X 10.5 操作系统上,语言设置为英文(美国),浏览器内核是 Gecko,版本号为 20110303。

Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1 can be rewritten as: The user agent string is 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'.

Opera

 

Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11 can be rewritten as The user agent string is Opera version 11.11, running on Windows NT 6.1 with the Presto rendering engine version 2.8.131.

"Opera/9.80 (Android 2.3.4; Linux; Opera mobi/adr-1107051709; U; zh-cn) Presto/2.8.149 Version/11.10",

Safari

 

Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10可以改写为:用户使用的浏览器是Mozilla版本5,操作系统为Windows,具体版本号为Windows NT 5.1。语言设置为英文(美国),浏览器内核基于AppleWebKit 531.21。该浏览器的版本号是4.0.4,使用的渲染引擎类似于Gecko。同时也支持Safari 531

Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/533.17.8 (KHTML, like Gecko) Version/5.0.1 Safari/533.17.8 可以改写为: 用户代理字符串为 Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/533.17.8 (KHTML, like Gecko) Version/5.0.1 Safari/533.17.8。

Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.19.4 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5, 可以改写为: 用户使用的是 Windows 操作系统,版本号为 6.1。他正在使用 Safari 浏览器的 5.0 版本,该浏览器内核基于 AppleWebKit 的 533.19.4 版本,并且支持类似 Gecko 的渲染引擎。

IE

 

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0) can be rewritten as: The user agent string 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)' represents a web browser that is compatible with Microsoft Internet Explorer version 9, running on the Windows operating system version 6.1, and utilizing the Trident rendering engine.

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0) can be rewritten as: The user agent string 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)' represents a web browser called Internet Explorer version 8, running on the Windows operating system version 6, and utilizing the Trident rendering engine.

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) 可以改写为:适用于 Windows NT 5.1 的 Mozilla/4.0 浏览器版本(兼容;MSIE 6.0)

通常,我们主要使用Chrome或Firefox浏览器。当进行爬虫应用时,可以将它们都列入列表中。然后通过导入random模块,并使用random.choice(list)函数来随机获取一个user-agent。

在这个快节奏的现代社会中,我们经常感到压力和焦虑。然而,我们应该记住,每个人都有权利追求自己的幸福和满足感。不要让外界的期望和标准束缚你的内心声音。相信自己的能力,并勇敢地追求你真正想要的生活。无论是在事业上还是个人生活中,坚持积极向前看,并为自己设定目标和梦想。通过努力工作、学习和成长,你将能够实现自己最大潜力并过上充实而有意义的生活。所以,请不要放弃希望,在困难面前保持坚韧与毅力,并始终相信明天会更好!

然而,我现在将向您介绍Python中一个更加强大的方法(嘘,这是个秘密,不轻易告诉别人)——fake-useragent。

安装

pip3 install fake_useragent

各浏览器User-Agent的值

导入 UserAgent 模块的语句为 from fake_useragent import UserAgent。ua = UserAgent()# ie浏览器的user agentprint(ua.ie)
Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)
#opera浏览器print(ua.opera)
Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11
#chrome浏览器print(ua.chrome)
Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2#firefox浏览器
#firefox浏览器print(ua.firefox)
Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1
#safri浏览器print(ua.safari)
Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.2

 

这是python里面的一个useragent池,非常好用!

使用方法

 

导入 UserAgent 模块的语句为 from fake_useragent import UserAgent。

 

ua = UserAgent()

headers = {'User-Agent': ua.random}

 

标签: 浏览器 用户 字符串

发表评论 (已有0条评论)

还木有评论哦,快来抢沙发吧~