☰
60秒安装Moli并抓取第一个JS渲染网页:新手快速上手完整教程
2026/10/3 7:32:47 网站建设 项目流程

60秒安装Moli并抓取第一个JS渲染网页:新手快速上手完整教程

【免费下载链接】moliBest headless browser for AI agents. Lite, Fast, High-Compatibility. Built in Rust项目地址: https://gitcode.com/gh_mirrors/moli/moli

Moli是一个用 Rust 构建的无头浏览器(headless browser),专为 AI 代理与爬虫场景设计:轻量、快速、高兼容。它内置完整的 V8 JavaScript 引擎,能真正执行 JS 并维护实时 DOM,因此可以轻松抓取 JS 渲染网页、生成 Markdown、截图或 PDF。本教程将带你用约 60 秒完成 Moli 无头浏览器安装,并抓取你的第一个 JS 渲染网页。

特性说明
🪶 轻量单文件二进制,中位内存仅约 73 MiB(Chrome Headless 约 773 MiB)
⚡ 快速结构优先,抓文本不触发布局与绘制,中位耗时 1.43 s
🧩 高兼容支持 CDP、WebDriver Classic、WebDriver BiDi 三大自动化协议
🖥 全平台Linux、macOS、Windows 均支持

第一步:60秒安装 Moli(一键安装脚本)

Moli 提供了官方一键安装脚本,无需编译依赖。克隆仓库后执行安装脚本即可:

git clone https://gitcode.com/gh_mirrors/moli/moli cd moli sh scripts/install.sh # Linux / macOS

Windows 用户请在 PowerShell 中执行仓库内的 scripts/install.ps1。

安装脚本 scripts/install.sh 会自动识别你的平台(x86_64 / arm64),下载预编译二进制并安装到~/.local/bin/moli。最后验证安装:

moli --version

💡 提示:若提示命令未找到,请将~/.local/bin加入 PATH,参考脚本末尾的提示输出。

第二步:抓取你的第一个网页

安装完成后,一条命令就能抓取页面并输出为 Markdown(适合直接喂给大模型):

moli fetch --dump markdown --wait-until done https://example.com

Moli 默认会执行页面 JavaScript 并等待完成(--wait-until done是默认完成策略),输出的就是JS 执行后的最终页面,而不是静态 HTML 壳。

常用输出格式一览(实现在 moli/src/fetch_dump/):

参数输出
--dump markdownMarkdown 文本,模型友好
--dump html渲染后的 HTML(默认)
--dump json稳定的机器可读结构
--dump semantic_tree_text紧凑的语义树文本

第三步:精准抓取 JS 渲染网页(等待策略)

JS 渲染网页的关键在于"何时算加载完成"。Moli 提供多种等待策略,按需选择:

场景推荐参数说明
数据在网络变静后才加载完--wait-until networkidle网络空闲判定完成
内容在 DOM 变动停止后就绪--wait-until domstableDOM 稳定判定完成
关键元素出现在特定选择器--wait-selector "main article"等待指定选择器出现
# 等待网络空闲,适合 AJAX 数据加载型页面 moli fetch --dump markdown --wait-until networkidle https://example.com/app # 等待页面文章元素渲染出来,比固定延时更可靠 moli fetch --dump markdown --wait-selector "main article" https://example.com/news

⚠️ 小建议:长轮询/流式页面避免networkidle;持续变动计时器、动画的页面避免domstable。完整配方可参考官方技能文档 skills/moli-webfetch/SKILL.md。

下面是 Moli 渲染一个 HTML5 游戏后、通过 Chrome DevTools 实时检查的效果——JavaScript、DOM 与交互状态都是真实可用的:

第四步(可选):截图与 PDF 导出

默认抓取只读 DOM 结构,不渲染像素,因此极快。当需要图片时,加上--layout即可按需触发真实布局与软件渲染:

moli fetch --layout --dump screenshot https://example.com > viewport.png # 视口截图 moli fetch --layout --dump screenshot_full https://example.com > full.png # 整页截图 moli fetch --layout --dump pdf https://example.com > page.pdf # 导出PDF

性能有多快?看看基准数据

在 192 个真实网站的混合公开网络爬取测试中,Moli 成功率 53.6%,中位内存仅 73 MiB;在 Lexbench-Headless-Browser 基准里,Moli 的中位 CPU 时间与峰值内存约为 Chrome 的 15% 和 13%。

进阶方向与常用资料

完成以上四步,你就已经掌握了 Moli 无头浏览器的核心用法。可以继续探索:

  • 📖 官方完整文档:README.md、docs/README.zh-CN.md
  • 🤖 让 AI 代理自动抓取网页:skills/moli-webfetch/SKILL.md
  • 🔍 站内搜索能力:skills/moli-websearch/SKILL.md
  • 🖧 启动 CDP / WebDriver 自动化服务:运行moli serve,源码见 moli-protocol-server/
  • 🛠 CLI 参数定义(所有--dump、--wait-until选项):moli/src/cli.rs

只需moli serve一条命令,Playwright 等工具即可通过 CDP 直接连接 Moli,无需额外安装 ChromeDriver。现在,去抓取你的第一个 JS 渲染网页吧!🚀

【免费下载链接】moliBest headless browser for AI agents. Lite, Fast, High-Compatibility. Built in Rust项目地址: https://gitcode.com/gh_mirrors/moli/moli

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询