如何用 screenpipe 观察屏幕记录、发现值得自动化的重复工作流?
2026/9/14 3:48:16 网站建设 项目流程

如何用 screenpipe 观察屏幕记录、发现值得自动化的重复工作流?

【免费下载链接】screenpipeYC (S26) | Open Computer History | Record your screen continuously locally and provide context to your agents (Claude, Codex, Openclaw, Hermes, Runner...)项目地址: https://gitcode.com/GitHub_Trending/sc/screenpipe

你在工作中感觉某些事情“总是在重复”,但说不清具体是哪条流程值得自动化。screenpipe 会 24/7 在本地记录屏幕与音频,并把内容存入本地数据库,配合其 Pipes(定时运行的 AI 自动化)功能,你可以观察 2–3 次真实重复,筛出一条窄的改进点,并测试一个最小的自动化。本流程适用于 macOS、Windows、Linux 上运行 screenpipe 桌面端的场景,产出物是一份有数据依据的“自动化候选 + 可逆改进”报告,而不是一份泛泛的效率总结。

准备工作:确认 screenpipe 在正常记录

如果还没有安装,参考 quickstart:安装桌面端,按提示授予屏幕录制和麦克风权限(macOS 需在 System Settings → Privacy & Security 中允许屏幕录制与辅助功能),screenpipe 会自动开始采集。

用下面的命令确认本地 API 已就绪,这是后续所有查询的前提:

curl http://localhost:3030/health

/health不需要 token。若你开启了Require API Authentication,在同一个 shell 里取一次本地密钥,后续受保护接口都要带上 bearer 头:

export SCREENPIPE_API_KEY="$(npx -y screenpipe@latest auth token)"

第一步:选定一个有边界的产出目标

在开始观察前,先给目标划边界。workflow discovery 文档给出的原则是:用一个具体的触发和结果来定义边界,例如“把一条支持请求处理成已解决工单”或“准备每周客户报告”,避免“分析整个公司”这类宽泛目标。后面所有候选项都会被拿来和这个边界对照,超出边界的一律剔除。

第二步:设定观察政策,再开始录制

screenpipe 默认本地存储全部数据,但文档明确提醒:不要把这套流程用于隐蔽的员工监控。在正式录制前,向相关参与方说明:记录什么、为什么记录、谁能查看、保留多久、如何暂停或排除敏感应用。

排除敏感窗口可用启动参数控制记录范围(见 search screen history 的 privacy 一节):

npx -y screenpipe@latest --ignored-windows <窗口匹配规则>

文档同时提供了--included-windows白名单参数;两者含义以 API recipes 与隐私文档为准,按你的敏感面自行选择其一即可。

第三步:录制 2–3 次重复,并记下起止时间

正常地完成目标流程 2–3 次,观察正常波动下的重复步骤。关键动作:记下每一次运行的近似开始和结束时间。这些时间将用于后面构造有边界(bounded)的查询窗口,没有窗口约束的检索会混入无关内容。

录完一轮后,用有界窗口检索确认数据真的落库了。以下命令中的 ISO 8601 时间来自文档示例,替换为你实际记录的起止时间:

curl -H "Authorization: Bearer $SCREENPIPE_API_KEY" \ "http://localhost:3030/search?start_time=2026-02-10T14:00:00Z&end_time=2026-02-10T18:00:00Z&limit=50"

start_time/end_time也支持相对值(如3h agonow)。如果返回为空,说明采集没生效(权限、被忽略窗口、应用不在记录范围),先修采集问题再进入下一步——文档强调“不要用假设去填补数据缺口”。

第四步:跑 discovery——一次性或可复用两种路径

路径 A:Home 的 Automate My Work(最快验证)

screenpipe 内置 4 个 Home 快捷卡片,其中Automate My Work的功能就是“找出一个重复工作流并提出可测试的自动化”,属于 on-demand 触发(见 pipes 的 built-in Home shortcuts 一节)。在 Home 页点击它即可对近期活动做一次分析。

路径 B:创建可复用的 discovery pipe(推荐留档)

把下面这段提示词粘贴到Pipes → My Pipes → create your own pipe(原文见 workflow discovery):

Create a manual workflow-discovery pipe for one named outcome. Review a bounded time window and write a local Markdown report. List only workflows repeated in the supplied data. For each candidate include trigger, result, observed steps, repetitions, friction, exceptions, evidence time ranges, and one reversible improvement. Use /activity-summary for time totals. Do not score employee productivity, send messages, or change another system.

也可以在命令行直接建文件再安装(frontmatter 格式与 CLI 命令来自 pipes 文档):

mkdir -p ~/.screenpipe/pipes/workflow-discovery cat > ~/.screenpipe/pipes/workflow-discovery/pipe.md << 'EOF' --- schedule: manual enabled: true --- Create a manual workflow-discovery pipe for one named outcome. Review a bounded time window and write a local Markdown report. List only workflows repeated in the supplied data. For each candidate include trigger, result, observed steps, repetitions, friction, exceptions, evidence time ranges, and one reversible improvement. Use /activity-summary for time totals. Do not score employee productivity, send messages, or change another system. EOF npx -y screenpipe@latest pipe install ~/.screenpipe/pipes/workflow-discovery npx -y screenpipe@latest pipe run workflow-discovery npx -y screenpipe@latest pipe logs workflow-discovery

schedule: manual表示只在你手动触发时运行,适合先人工验证再决定是否排期。提示词要求只列出“在给定数据中重复出现”的工作流,并要求每个候选项给出触发条件、结果、观察到的步骤、重复次数、摩擦点、例外、证据时间范围和一个可逆改进。

验证结果:报告 + 执行日志 + 有界检索交叉核对

文档给出的验收顺序是:应用构建完成后回到My Pipes,手动运行一次,同时检查报告和 execution log,确认无误后再考虑排期(schedule)。

再自己做一次证据抽查,不依赖 AI 的归纳:

  1. 用第四步记录的时间窗口跑一次有界/search,确认报告里提到的应用、窗口和步骤能在原始记录里找到对应内容;
  2. 对报告中的“活跃时间”数字,用/activity-summary核对——workflow discovery 文档明确要求时间总量只取自 activity-summary,不允许数帧或数搜索结果来估时间:
curl -H "Authorization: Bearer $SCREENPIPE_API_KEY" \ "http://localhost:3030/activity-summary?start_time=2h+ago&end_time=now"

如果 discovery 报告“没有匹配数据”,文档的处理方式是:修采集或放宽时间范围,然后重跑,而不是基于残缺数据下结论。

如何判断哪个候选项值得先自动化

workflow discovery 文档给出了筛选标准,直接按表对照:

好的首批候选差的候选
至少重复过几次只发生过一次
有明确触发和可验收的结果“成功”是主观的或涉及政治因素
步骤大体稳定例外情况主导整个流程
容易验证结果失败会造成财务、法律或客户损害
改动可回滚是不可逆的外部动作

另外两条硬性边界:剔除一次性任务和数据无法体现判断依据的任务;报告不得给员工打分(提示词里已写入该约束)。

限制与下一步

  • 报告只是候选清单,不是自动上线。文档要求先给最佳候选写一版草稿 SOP(含触发、步骤、决策点、例外、输入与验收结果),再自动化其中单个稳定步骤或加一张 checklist,与原流程对比后再扩大范围。
  • 若候选流程包含政策、判断、例外或审批环节,优先把它写成文档而非机器人——“一份可靠的 checklist 也是有效结果”。下一步可参考 SOP capture 把操作手册做精确。
  • 排期前的安全建议:该 discovery pipe 只读数据即可,可在 frontmatter 加permissions: reader,防止意外副作用(如误停会议);默认执行超时 300 秒,若使用慢模型可加timeout: 2400(见 pipes 的 frontmatter 字段表)。
  • 数据缺口(报告里标注的 missing evidence)需要再观察一轮补证,而不是补脑。

【免费下载链接】screenpipeYC (S26) | Open Computer History | Record your screen continuously locally and provide context to your agents (Claude, Codex, Openclaw, Hermes, Runner...)项目地址: https://gitcode.com/GitHub_Trending/sc/screenpipe

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询