Python动态网页爬取方法_selenium与requests结合【指导】

动态网页爬取需结合Selenium与requests：Selenium模拟浏览器执行JS并获取渲染后HTML或提取API参数，requests高效调用接口；登录等交互用Selenium，后续数据请求交由requests，并注意Cookie、Headers一致性及反爬规避。

动态网页爬取不能只靠 requests，因为很多内容由 JavaScript 渲染，服务器返回的 HTML 源码里压根没有目标数据。这时候得让浏览器“真打开页面、执行 JS、等加载完”，再把渲染后的 HTML 或接口数据拿回来——Selenium 负责模拟真实浏览行为，requests 负责高效获取接口或静态资源，二者配合才是实用解法。

先用 Selenium 获取渲染后的真实 HTML

适用于页面结构依赖 JS 初始化（比如点击加载、滚动触底、Vue/React 渲染的列表），且你只需要最终 DOM 内容。

启动 ChromeDriver（推荐无头模式： options.add_argument('--headless=new')）
用 driver.get(url) 打开页面，再用 WebDriverWait 等待关键元素出现（别用 time.sleep）
调用 driver.page_source 获取完整渲染后的 HTML，之后可交给 BeautifulSoup 解析
示例：等 class="item-list" 的 div 加载完成再取源码

用 Selenium 提取请求参数，再用 requests 发起真实 API 调用

很多动态页背后是 Ajax 接口（如 XHR/Fetch），Selenium 可以帮你“看懂”这些请求怎么发的，而 requests 更快更轻量，适合批量抓取。

在 Selenium 中打开开发者工具（Network → XHR），手动操作触发目标数据加载，记下请求 URL、Headers（尤其是 Cookie、User-Agent、X-Requested-With）、Query 参数和 POST Body
用 driver.get_cookie('name') 或 driver.execute_script("return document.cookie") 提取登录态 Cookie
用 requests.Session() 复用会话，设置相同 headers 和 cookies，直接调用接口获取 JSON 数据
优势：绕过浏览器渲染，速度快；适合翻页、分页拉取大量数据

混合策略：Selenium 做登录/跳转，requests 接管后续所有接口

登录态往往需要交互（验证码、滑块、OAuth 跳转），Selenium 更可靠；但登录成功后，几乎所有业务数据都走接口，这时切回 requests 更稳。

用 Selenium 完成账号密码输入、点击登录、等待跳转到首页或用户中心
提取当前 driver 的 cookies 和 headers（注意保留 Authorization token 或 sessionid）
把 cookies 转为 requests 可用格式：requests.utils.dict_from_cookiejar(driver.get_cookies())
后续所有数据请求全部交给 requests，不用再开浏览器，内存和时间成本大幅下降

注意事项与避坑点

结合使用不是简单拼凑，几个关键细节决定成败：

Cookie 时效性：Selenium 获取的 cookie 可能含 HttpOnly，requests 无法自动携带，需显式传入；部分站点还校验 User-Agent 或 Referer，headers 必须一致
反爬识别：Selenium 默认特征明显（如 webdriver 属性），需加配置隐藏：options.add_experimental_option("excludeSwitches", ["enable-automation"]) 并禁用 useAutomationExtension
请求频率控制：requests 接口调用比浏览器快得多，务必加 time.sleep 或使用 ratelimit 库，避免被封 IP
异常兜底：Selenium 可能超时或崩溃，requests 可能返回 401/403，建议用 try-except 包裹关键步骤，并设计重试逻辑

不复杂但容易忽略：真正高效的动态爬取，不是“全用 Selenium”，也不是“硬刚 requests”，而是让每个工具做它最擅长的事。

# vue # react # javascript # python # java # html # js # json # ajax # cookie

返回目录在线咨询

上一篇：为什么越来越多的人选择Shopify建站？
下一篇：canvas实现探照灯效果

您的项目需求