企业官网建设流程全解析

最近用WorkBuddy做了一个跨境电商数据分析工具，我发现Python爬虫可能再也不需要了。

背景是我在GitHub看到一个用来采集数据的CLI工具，BrightData CLI已经有7千star，它可以直接采集url、搜索引擎、站点的数据，能自动化操作浏览器，把playwright的活也干了，而且可以用ai自然语言搜索去采集数据，不需要任何明确的代码指令。

它神奇的地方在于只需要在命令行安装好cli程序后，就能通过一行指令去采集数据，然后直接导出markdown、csv格式，而且你可以用agent直接安装和使用这个cli，不需要会终端、代码，只需要说话给指令就行。

我挖了下BrightData CLI的底层实现原理，它其实利用的是Bright Data采集接口，把爬虫能力封装成CLI，用接口的好处在于Bright Data将IP代理、验证码解锁、动态网页解析等功能都集成到接口里，在黑盒中直接处理复杂反爬限制问题，不需要人工写脚本解决。

比如BrightData scrape url能获取网页的数据、BrightData search google能获取谷歌关键词搜索的数据、BrightData discover能直接ai对话获取相关网页，pipelines可以用预定义好的电商、社交平台的数据，browser能自动化操作chrome来访问网页等等。

以上的功能都只需要一行代码，所以我说传统的python爬虫已经没有啥必要了。前不久出来的DeepSeek搜索其实也是类似的，找任何数据基本不用自己动手。

所以我用Workbuddy调用BrightData CLI实现跨境电商商品的监测任务，去收集各大跨境电商平台上iPhone Duo的最新价格，形成一份定期监测报告，最后在电脑本地搭建一个商品舆情分析工具，输入任何商品，可以分析用户的评论以及谷歌搜索的结果。

首先需要去Bright data后台注册key，它会送每个月5000次的调用额度。

https://get.brightdata.com/w3h8e

然后在Wrokbuddy上输入prompt进行安装，它会自动帮你下载并配置，完全不需要你动手。

prompt如下：安装 bright data cli

安装好后，需要你打开终端并自己配置key，这里注意千万不要把key丢给Wrokbuddy，会有泄漏风险。

然后在Workbuddy中去调用Bright data cli采集数据，至于它用什么指令去完成不用管，ai根据你的需要自动去匹配的。

首先生成采集报告，prompt如下：

我现在在做跨境电商价格监测项目，需要你用 brightdata cli 搜索海外各大主流电商平台 iPhone duo 的真实价格（换算为人民币），形成一份详细的监测日报和购买建议，以html形式输出。

接下来要做的就是等，几分钟后Workbuddy会输出一份iPhone在各大平台的最新价格报告。涵盖Apple 美国官网、Best Buy、Walmart、eBay、Amazon 美国站等主流平台最新数据，非常齐全。

美版比国行要便宜约 16.7%（未计税费运费）。

报告还会给出购买建议和风险提示。

这个只是静态的html页面，还可以基于Bright data cli搭建商品的舆情分析工具，只需要输入关键词，它会自动搜集电商平台的用户评价以及谷歌搜索结果，进行舆情分析。

prompt如下：

基于brightdata cli搭建一个商品舆情分析web工具，用户输入任何商品，可以查询amazon的商品评论，以及搜索谷歌关键词获取商品新闻趋势等，综合分析舆情和热度。

完成后在浏览器打开该工具，在输出框输入任意商品名称，比如：mac mini m6。它会从amazon和google采集数据，分别用的是amazon_product、SERP_NEWS、SERP_WEB接口，全程大概1-3分钟。

采集到数据后，该工具会进行用户口碑、市场热度、功能偏好、主要痛点等维度的分析，提供参考建议。

BrightData CLI搭配WorkBuddy还可以做非常多的数据采集分析任务，比如X帖子跟踪、YouTube热点分析、领英职位采集等等，既能做业务支持还能用于AI数据训练和搜索。

https://get.brightdata.com/webscra

这个CLI甚至可以导出skill，适配codex、grok、workbuddy、dsh等agent上，直接调用skill就能完成cli的所有任务。

我感觉搜索、爬虫这类事情以后基本都被ai替代了，不会有任何的机会留给人类程序员，人唯一体现价值的地方在于提出精准的需求，并从ai给到的数据中提炼价值。