DEV Community

drake
drake

Posted on

scrapy-playwright

scrapy-playwright 是 Scrapy 官方插件组织维护的下载处理器,用 Playwright for Python 驱动真实浏览器来抓取请求。它的定位是处理需要执行 JavaScript 的页面,同时保留 Scrapy 原有的调度和 item 处理流程。和前面聊的 curl_cffi 方案相比,它不是"模拟"浏览器指纹,而是直接用真浏览器,所以 TLS、HTTP/2、JS 环境天然一致,代价是慢得多、吃内存。

安装与启用

pip install scrapy-playwright
playwright install chromium
Enter fullscreen mode Exit fullscreen mode
# settings.py
DOWNLOAD_HANDLERS = {
    "http": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
    "https": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
}
TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"
Enter fullscreen mode Exit fullscreen mode

基本用法

只有在 Request.meta 里设置了 playwright 键的请求才走浏览器,其余请求仍走 Scrapy 普通下载器,因此可以混用:列表页走浏览器,详情接口走普通请求。

from scrapy_playwright.page import PageMethod

yield scrapy.Request(
    url,
    meta={
        "playwright": True,
        "playwright_page_methods": [
            PageMethod("wait_for_selector", "div.item"),
            PageMethod("evaluate", "window.scrollTo(0, document.body.scrollHeight)"),
        ],
    },
)
Enter fullscreen mode Exit fullscreen mode

PageMethod 是在页面加载后、返回响应前依次执行的 Playwright 页面方法(等待元素、点击、滚动、截图等)。拿到的 response 是渲染后的 HTML,解析方式不变。

需要更复杂的交互时,加 "playwright_include_page": True,在回调里从 response.meta["playwright_page"] 取出 page 对象自己操作。用完必须 await page.close(),并配一个 errback 关页面,否则页面泄漏会把并发卡死。

常用配置

设置 作用
PLAYWRIGHT_BROWSER_TYPE chromium / firefox / webkit
PLAYWRIGHT_LAUNCH_OPTIONS 启动参数,如 {"headless": True, "channel": "chrome"}
PLAYWRIGHT_CONTEXTS 预定义浏览器上下文(各自独立的 cookie、代理、UA、视口)
PLAYWRIGHT_MAX_CONTEXTS / PLAYWRIGHT_MAX_PAGES_PER_CONTEXT 限制上下文数和每个上下文的并发页面数
PLAYWRIGHT_ABORT_REQUEST 拦截图片、字体、统计脚本等,省流量提速
PLAYWRIGHT_DEFAULT_NAVIGATION_TIMEOUT 导航超时(毫秒)
PLAYWRIGHT_CDP_URL 连接已有的远程浏览器,而不是本地启动

代理可以在启动参数或上下文里配置;用 playwright_context 这个 meta 键指定请求走哪个上下文,就能实现"每个代理/账号一个上下文"的隔离。以上设置名和默认值以官方文档的 Settings 页为准,我这次只读到了文档首页的目录。

和 scrapy-redis 一起用

可以共存,scrapy-redis 管队列,scrapy-playwright 管下载。注意两点:

  • 进 Redis 的请求要能序列化。playwright: True、上下文名这类简单值没问题;PageMethod 对象是否能正常 pickle 要实测,稳妥做法是在下载中间件或 make_request_from_data 里出队后再注入。
  • 浏览器很重,CONCURRENT_REQUESTS 要比纯 HTTP 爬虫调低很多,通常每个节点十几个并发页面就到头了。

需要知道的局限

  • 不等于反检测。无头 Chromium 自带 navigator.webdriver、HeadlessChrome UA 等自动化特征,强风控站点照样能识别。常见缓解手段是用 channel: "chrome" 调起正式版 Chrome、有头模式,或通过 CDP 连接指纹浏览器。
  • 资源消耗大。速度比 curl_cffi 慢一到两个数量级,长时间运行要关注内存。
  • Windows 支持有限,历史上因事件循环问题需要特殊处理,生产环境建议 Linux。

选型建议

能用接口加 curl_cffi 解决的就不要上浏览器。比较实用的组合是:用 scrapy-playwright 过 JS 挑战、拿到 cookie 或 token,再把后续的大量请求交给 scrapy-impersonate,并保持两边模拟的浏览器版本和代理 IP 一致。

Sources:

Top comments (0)