scrapy-playwright 是 Scrapy 官方插件组织维护的下载处理器,用 Playwright for Python 驱动真实浏览器来抓取请求。它的定位是处理需要执行 JavaScript 的页面,同时保留 Scrapy 原有的调度和 item 处理流程。和前面聊的 curl_cffi 方案相比,它不是"模拟"浏览器指纹,而是直接用真浏览器,所以 TLS、HTTP/2、JS 环境天然一致,代价是慢得多、吃内存。
安装与启用
pip install scrapy-playwright
playwright install chromium
# settings.py
DOWNLOAD_HANDLERS = {
"http": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
"https": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
}
TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"
基本用法
只有在 Request.meta 里设置了 playwright 键的请求才走浏览器,其余请求仍走 Scrapy 普通下载器,因此可以混用:列表页走浏览器,详情接口走普通请求。
from scrapy_playwright.page import PageMethod
yield scrapy.Request(
url,
meta={
"playwright": True,
"playwright_page_methods": [
PageMethod("wait_for_selector", "div.item"),
PageMethod("evaluate", "window.scrollTo(0, document.body.scrollHeight)"),
],
},
)
PageMethod 是在页面加载后、返回响应前依次执行的 Playwright 页面方法(等待元素、点击、滚动、截图等)。拿到的 response 是渲染后的 HTML,解析方式不变。
需要更复杂的交互时,加 "playwright_include_page": True,在回调里从 response.meta["playwright_page"] 取出 page 对象自己操作。用完必须 await page.close(),并配一个 errback 关页面,否则页面泄漏会把并发卡死。
常用配置
| 设置 | 作用 |
|---|---|
PLAYWRIGHT_BROWSER_TYPE |
chromium / firefox / webkit
|
PLAYWRIGHT_LAUNCH_OPTIONS |
启动参数,如 {"headless": True, "channel": "chrome"}
|
PLAYWRIGHT_CONTEXTS |
预定义浏览器上下文(各自独立的 cookie、代理、UA、视口) |
PLAYWRIGHT_MAX_CONTEXTS / PLAYWRIGHT_MAX_PAGES_PER_CONTEXT
|
限制上下文数和每个上下文的并发页面数 |
PLAYWRIGHT_ABORT_REQUEST |
拦截图片、字体、统计脚本等,省流量提速 |
PLAYWRIGHT_DEFAULT_NAVIGATION_TIMEOUT |
导航超时(毫秒) |
PLAYWRIGHT_CDP_URL |
连接已有的远程浏览器,而不是本地启动 |
代理可以在启动参数或上下文里配置;用 playwright_context 这个 meta 键指定请求走哪个上下文,就能实现"每个代理/账号一个上下文"的隔离。以上设置名和默认值以官方文档的 Settings 页为准,我这次只读到了文档首页的目录。
和 scrapy-redis 一起用
可以共存,scrapy-redis 管队列,scrapy-playwright 管下载。注意两点:
- 进 Redis 的请求要能序列化。
playwright: True、上下文名这类简单值没问题;PageMethod对象是否能正常 pickle 要实测,稳妥做法是在下载中间件或make_request_from_data里出队后再注入。 - 浏览器很重,
CONCURRENT_REQUESTS要比纯 HTTP 爬虫调低很多,通常每个节点十几个并发页面就到头了。
需要知道的局限
-
不等于反检测。无头 Chromium 自带
navigator.webdriver、HeadlessChrome UA 等自动化特征,强风控站点照样能识别。常见缓解手段是用channel: "chrome"调起正式版 Chrome、有头模式,或通过 CDP 连接指纹浏览器。 - 资源消耗大。速度比 curl_cffi 慢一到两个数量级,长时间运行要关注内存。
- Windows 支持有限,历史上因事件循环问题需要特殊处理,生产环境建议 Linux。
选型建议
能用接口加 curl_cffi 解决的就不要上浏览器。比较实用的组合是:用 scrapy-playwright 过 JS 挑战、拿到 cookie 或 token,再把后续的大量请求交给 scrapy-impersonate,并保持两边模拟的浏览器版本和代理 IP 一致。
Sources:
Top comments (0)