企业官网建设流程全解析

（1）换用火狐浏览器

（2）隐藏谷歌浏览器中的特殊变量值

from selenium import webdriver options = webdriver.ChromeOptions() # -- 防止被检测，旧版本用法（1）： # chrome在79版之前用这个 options.add_experimental_option("excludeSwitches", ["enable-automation"]) options.add_experimental_option('useAutomationExtension', False) driver = webdriver.Chrome(options=options) # -- 防止被检测，新版本用法（2）： # chrome在79和79版之后用这个 driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) """ }) driver.get("http://www.xxx.com/") time.sleep(60) driver.close() driver.quit()

（3）更换工具，使用新秀DrissionPage

DrissionPage不需要driver驱动文件，虽然只支持谷歌内核浏览器。既方便，抗检测也更强，值得试试。

（4）更换工具，使用新秀Playwright

Playwright和DrissionPage差不多，都是2020年开始的新项目，都不需要driver。Playwright另外可以支持火狐和WebKit（Safari）

网站检测selenium的原理是：

（1）selenium在开启后的浏览器加了一些变量值，如：window.navigator.webdriver 等等。

（2）像window.navigator.webdriver，在正常的谷歌浏览器是undefined，在selenium打开的谷歌浏览器是true。网站就下发js代码，检测这个变量值给网站，网站判断这个值，为true就是爬虫程序就封杀。

变量值一般不止这一个。

不同的浏览器驱动不同，像火狐浏览器，控制台输入window.navigator.webdriver，虽然还是true，但不会被检测出来。