企业官网建设流程全解析

事情是这样的。

前两天我想临时抓一点公开网页数据，脑子里第一反应不是「开干」，而是「完了，又要配代理了」。

网页抓取这件事，最烦人的地方从来不只是请求一个 URL。你要处理 IP 被封、CAPTCHA、JS 渲染、页面结构变化，最后还得把一坨 HTML 拆成能用的 JSON。

所以我这次试了一下 Bright Data CLI。

它吸引我的点很简单，把原本一整套爬虫基础设施，尽量压回到终端里的几条命令。

想快速体验 Bright Data CLI？

注册 Bright Data 免费试用，即可获得 CLI 所需额度，无需自行搭建代理或浏览器环境，几分钟即可完成第一次网页抓取。

Bright Data CLI 到底是什么

Bright Data CLI 是 Bright Data 官方命令行工具，npm 包名是@brightdata/cli。装好以后可以用完整命令brightdata，也可以用简写别名bdata。

简单讲，Bright Data CLI 是 Bright Data 官方推出的命令行工具，可通过一行命令完成网页抓取、搜索结果采集、结构化数据提取以及 AI Agent 集成。

它不是一个普通下载器。

它更像是把 Bright Data 后面的 Web Unlocker、SERP、Pipelines、Scraping Browser、Scraper Studio 这些能力，包成开发者能直接调用的终端入口。

比如抓网页，用scrape。

查 Google、Bing、Yandex 搜索结果，用search。

从 Amazon、LinkedIn、Instagram、TikTok、YouTube、Reddit、Google Maps 这类平台提结构化字段，用pipelines。

控制远程真实浏览器，用browser。

甚至还可以用自然语言生成爬虫，再把能力接到 Claude Code、Cursor、Codex 这类 Agent 工具里。

安装和登录，先把环境跑起来

先安装。Bright Data CLI 支持在 macOS 上运行，下面按 Mac 用户最常见的方式来写。

先打开「终端」，检查一下本机有没有 Node.js。

node-vnpm-vnpx-v

如果node -v显示的是 v20 或更高版本，就可以继续往下走。

如果你的 Mac 还没装 Node.js，或者版本低于 20，可以先用 Homebrew 装一下。

brewinstallnodenode-v

如果你的 Mac 还没有 Homebrew，可以先去 https://brew.sh/ 按首页命令安装。

确认 Node.js 没问题后，有两种运行方式。

第一种是不全局安装，直接用npx临时运行最新版本。

npx-p@brightdata/cli brightdata--version

这种方式适合第一次试水，不想往电脑里装太多全局包。

第二种是全局安装，后面每次直接敲brightdata就行。

npminstall-g@brightdata/cli brightdata--version

如果你想确认简写别名也能用，可以顺手跑一下。

bdata--version

第一次使用先登录。

# 在自己的 Mac 上第一次使用，直接用这个，会自动打开浏览器登录brightdata login# 如果是在没有浏览器的服务器或 SSH 环境，用这个，会给你一个网址和验证码brightdata login--device# 如果是放进自动化脚本或 CI/CD，用这个，把 YOUR_API_KEY 换成真实 API Keybrightdata login --api-key YOUR_API_KEY

login默认会打开浏览器走 OAuth。服务器环境可以用--device，CI/CD 里可以用 API Key 或BRIGHTDATA_API_KEY环境变量。

成功示例，如果你也是这样那就可以继续下一步。之后如果出现是否同意都是默认Y。

然后跑初始化。

brightdata init

然后选择cli_unlocker，说一下这三个选项的区别：

• cli_unlocker:用于普通网页抓取。
• cli_browser:用于远程浏览器能力，它更偏「打开一个真实浏览器会话」
• Enter custom zone name:只有当你在 Bright Data 控制台里自己建了一个专门的 zone，才需要选这个。

接下来是选择输出的文档格式，这里选择 markdown。

这里是问是否需要全局安装，前面已经全局安装过了，选 N 即可。

到这里就安装完成，可以使用了！

如果想查询账户余额和额度使用情况，可以用这个命令：

brightdata budget

首次登录完成后，CLI 会自动创建cli_unlocker和cli_browser这类默认 zone，并把认证信息和配置保存在本地。你后面再跑命令，就不用每次重新登录了。

在 Mac 上，这些配置会保存在这个目录。

#~/Library/Application Support/brightdata-cli/open"$HOME/Library/Application Support/brightdata-cli"

你一般不需要手动改它，知道它在哪里就行。

Demo 1，一行命令抓公开网页

如果只是抓取公开网页内容，使用scrape命令即可自动完成反爬处理，并输出 Markdown、JSON、HTML 或截图等格式。

接下来直接抓。

比如抓 Hacker News 首页。

brightdata scrape https://news.ycombinator.com

默认输出是 Markdown，很适合快速阅读，也适合丢给 LLM 做下一步处理。如果要保存到文件，可以这样。-o hacker-news.md是生成本地文档。

brightdata scrape https://news.ycombinator.com-ohacker-news.md

如果想从美国地区访问 Amazon 商品页，可以加--country us。

brightdata scrape https://amazon.com/dp/B09V3KXJPB--countryus

输出格式也可以切。

brightdata scrape https://example.com-fhtml-opage.html brightdata scrape https://example.com-fjson--pretty-opage.json brightdata scrape https://example.com-fscreenshot-ohomepage.png

这里有个关键点。

scrape背后走的是 Bright Data Web Unlocker。它会自动处理 IP 轮换、浏览器指纹、请求头、重试、CAPTCHA 等反爬细节，并按成功请求计费，让开发者不用自己维护底层抓取基础设施。

当然，这不代表可以乱抓。本文所有演示都建议只用公开可访问页面，不抓登录后内容，不碰私有数据。

Demo 2，把 Amazon 和 LinkedIn 变成结构化数据

如果只是抓一个网页，scrape已经够用。但很多时候我们真正想要的不是网页，而是字段。

比如 Amazon 商品名、价格、评分、评论数。

或者 LinkedIn 公开主页里的姓名、职位、公司、地区。

这时候看pipelines。

Pipelines 可直接提取 Amazon、LinkedIn、Google Maps、Reddit 等 100+ 网站的结构化数据，无需自己编写解析规则。

这些都是支持获取的列表：

brightdata pipelines list

下面试一下最常见的两个场景，先获取亚马逊商品页，适用于跨境电商。

brightdata pipelines amazon_product"https://amazon.com/dp/B09V3KXJPB"--formatjson--pretty-oamazon-product.json

再试一下 LinkedIn 公开主页数据。

brightdata pipelines linkedin_person_profile"https://linkedin.com/in/username"--formatjson--pretty-olinkedin.json

对开发者而言，Pipelines 最大的价值在于直接输出结构化数据，而不是继续维护复杂的 DOM 解析逻辑。

因为爬虫项目很多时间不是花在请求，而是花在解析。页面拿回来了，然后你开始写 selector，价格字段在这里，评分在那里，评论数又换了结构。

pipelines的价值，就是尽量让你少跟 DOM 结构较劲，直接往结构化数据走。

如果你经常采集 Amazon、LinkedIn 或 Google 数据，建议直接体验 Bright Data CLI。

相比从零开发爬虫，CLI 已经内置反爬、浏览器管理和结构化数据提取，可以更快完成 PoC 与自动化任务。

Demo 3，用 search 做竞品调研和趋势监控

再看搜索。

比如做竞品调研，用命令行查一下2026 年命令行网页抓取工具。

brightdata search"command line web scraping tool 2026"--enginegoogle--countryus--pretty-osearch-web-scraping-tools-2026.json

再试一下中文查询效果。

brightdata search"命令行 网页抓取 工具"--enginegoogle--countrycn--pretty-osearch-cli-web-scraping-cn.json

CLI 中的search命令底层调用的是 Bright Data SERP API，而不是普通代理，因此可以稳定获取 Google 搜索结果。返回结果里可以包含 organic results、ads、People Also Ask、related searches。做市场情报、趋势监控、内容选题，这个很省事。

进阶功能，Browser、Scraper 和 MCP

还有一个进阶功能是browser。

它可以控制 Bright Data 的远程真实浏览器会话，适合需要交互、截图、读页面结构的场景。

Browser API 基于云端托管浏览器，兼容 Puppeteer、Playwright 和 Selenium，适合在合规和授权前提下处理需要登录态、交互或复杂 JavaScript 渲染的网站。
先让 Bright Data 打开 example.com 这个页面。

brightdata browseropenhttps://example.com

然后读取当前页面结构，输出一个精简版页面快照。

brightdata browser snapshot--compact

也可以让它截图并保存到本地。

brightdata browser screenshot ./result.png

不用时就关闭这个页面，释放资源。

brightdata browser close

顺着这个再往前走，就是 AI Agent。

Bright Data CLI 可以用自然语言创建 Scraper Studio 爬虫。

这里以 https://news.ycombinator.com 为例，让 Bright Data 自动创建一个 scraper，提取热门故事的标题、链接、分数、作者、评论数。

# 第一步，创建 scraper，成功后会返回一个 Collector IDbrightdata scraper create https://news.ycombinator.com"Extract top stories: title, url, points, author, comment count"# 第二步，运行这个scraperbrightdata scraper run<collector_id>https://news.ycombinator.com--pretty-onews.json

响应速度非常快，最终获取到news中的数据并输出成文档。

如果页面改版导致字段失效，还可以走自愈流程。把你想修复的让bright data自动帮你修改，生成新的脚本。

brightdata scraper heal<collector_id>"The price field returns null since the redesign. Re-capture price and currency."--urlhttps://example.com/product/1 brightdata scraper approve<collector_id>--urlhttps://example.com/product/1

最适合 AI Agent 使用的那当属 MCP。Bright Data MCP 为 AI Agent 提供 60+ 个实时 Web Access 工具，让 AI 能直接获取网页数据，而无需自行处理代理、CAPTCHA 或反爬机制。

执行以下命令，它可以把 Bright Data MCP server 添加到 Claude Code、Cursor 或 Codex。

也就是说，你可以把网页抓取、搜索、结构化提取这些能力接进自己的 AI 编程工作流。

brightdataaddmcp

下面以 Codex 为例演示 MCP 配置流程。

• 用方向键移动到 Codex
• 按一下 空格键，让 Codex 前面的圆圈变成选中状态
• 再按 回车 提交
  

然后在 Codex 中验证是否安装成功，询问本地是否已经有 Bright Data MCP。

和自写爬虫、curl/wget 比，差别在哪

那它和自己写 Python 爬虫、或者直接用 curl/wget 比，差别在哪？

这不是说自写爬虫没价值。

如果你有非常定制化的业务逻辑，Python、Playwright、Scrapy 依然重要。

但如果你的目标是快速拿到公开网页数据，做价格监控、销售线索、市场趋势、内容情报，或者给 AI Agent 提供实时网页数据，那 Bright Data CLI 的优势就很明显。

它把「我要先搭一套抓取基础设施」，压缩成了「我先敲一条命令看看」。

这对开发者其实很重要。

很多项目不是死在做不出来，而是死在启动成本太高。

你只是想验证一个想法，结果第一天都在配环境。

你只是想抓 100 条公开数据，结果先写了 300 行样板代码。

Bright Data CLI 解决的就是这类问题。

它适合哪些真实场景

比如电商团队，可以每天跑一组 Amazon 或 Walmart 商品页，把价格、评分、评论数落到 CSV 或 JSON 里，再接到自己的看板。

比如销售团队，可以围绕 LinkedIn 公开主页做线索整理，不用每次都手动复制字段。

比如内容团队，可以定时跑搜索关键词，把 Google 结果里的标题、链接、People Also Ask 拿回来，判断一个话题是不是正在升温。

再比如 AI 工程师，最需要的其实不是又一个漂亮 Demo，而是一个稳定的数据入口。Agent 能不能帮你干活，很大程度上取决于它能不能拿到实时、干净、可解析的网页数据。

这也是 Bright Data CLI 值得单独写一篇的原因。

它不是只给爬虫工程师用的。

它更像是给所有「需要网页数据，但不想先维护一套网页抓取系统」的人用的。

几个常见问题

几个常见问题也顺手说一下。

brightdata和bdata没区别，bdata只是简写别名。

Bright Data CLI 免费吗？

CLI 可以免费安装，注册后可获得试用额度体验网页抓取能力。

Bright Data CLI 支持哪些浏览器框架？

Browser API 支持 Puppeteer、Playwright 与 Selenium，适合需要交互、复杂 JavaScript 渲染或浏览器会话的任务。

CLI 可以用于 CI/CD 吗？

可以。它是 pipe-friendly 的，可以用--json做机器可读输出，也可以用 API Key 登录，或者通过BRIGHTDATA_API_KEY做非交互认证。

可以抓 LinkedIn 吗？

可以获取公开可访问的数据，不建议采集登录后的私人数据。

Bright Data CLI 和自己写 Python 爬虫有什么区别？

CLI 将代理、反爬、浏览器管理和结构化提取封装成命令，适合快速验证项目。如果业务逻辑非常定制化，Python、Playwright、Scrapy 依然有价值。

如果触发限速，可以稍后重试，用--async处理大任务，或者联系客户经理提升限制。

如果你只是想先试试，不用一上来就做很重的采购决策。注册后会有每月 5,000 次 request 初级试用额度，足够把上面这些 scrape、search、pipelines 的基本流程跑一遍。

至于合规，我还是那句话，只抓公开数据，遵守目标网站条款，不碰登录墙后的私有内容。

最后聊两句

写到这里，核心判断其实很简单，Bright Data CLI 不是为了替代你写代码。

它是为了让你少写那些，本来就不该重复写的代码。

尤其对 AI 开发者来说，这东西会越来越有用。

因为 Agent 不是只需要更聪明的模型。

它还需要可靠的外部世界入口。

网页，就是最大的外部世界之一。

如果你正在寻找一种无需维护代理、浏览器和反爬逻辑的 Web Scraping 方案，不妨试试 Bright Data CLI。

注册即可体验 CLI、Browser API、Web Unlocker、SERP API 等能力，并通过免费试用快速验证自己的数据采集流程。

之后如需更高配额，可联系客户经理申请升级试用或使用专属优惠。

如果对大家有帮助的话，点个赞吧！谢谢大家，这对我真的很重要，我们下一期，再见！