企业官网建设流程全解析

• 人工智能
• 计算机视觉
• 本地部署

EdgeTAM-fp16 是一款基于 Apple MLX 框架的端侧图像分割模型，专为 Apple Silicon 设备转换为 fp16 精度。它支持提示式分割（promptable segmentation）和视频目标跟踪：在图像上点一下或框一下目标，即可立即得到对应的分割 mask，全程本地运行、无需联网。

EdgeTAM-fp16是什么：跑在自己设备上的提示式分割模型

EdgeTAM-fp16 源自著名的 EdgeTAM 项目——一个专为端侧场景打造的 SAM 2，擅长两件事：

• 🎯提示式图像分割：给一个点（point）或一个框（box），模型输出目标的 mask
• 🎬视频目标跟踪：提示一次，目标在后续帧中自动跟随

这个仓库把原始权重转换成了 AppleMLX格式（fp16 半精度），共包含 874 个张量（图像 + 视频双任务），并与官方edgetam.pt逐一对齐，仅有 fp16 精度舍入差异。它可以直接被 Swift 包mlx-edgetam-swift中的EdgeTAMPackage加载，作为 MLXEngine 的promptSegment+trackObject模型使用。

为什么选择 fp16 + MLX：更小、更快、更私密

对于移动端和离线场景，"模型即文件"的方式也让集成非常直接：核心权重就是一个 model.safetensors 文件。

三步跑通第一张图像分割

第一步：获取模型文件

git clone https://gitcode.com/hf_mirrors/mlx-community/EdgeTAM-fp16

克隆后仓库里的 model.safetensors 就是可直接加载的 fp16 权重。

第二步：在 Swift 工程中接入

通过 Swift 包管理引入mlx-edgetam-swift（0.6.0+），并用EdgeTAMPredictor加载权重：

import EdgeTAM let p = try EdgeTAMPredictor.fromPretrained(weightsPath, dtype: .float16) p.setImage(sourceCGImage) // 每张图只编码一次

第三步：点一下，mask 就出来了

let r = p.predict(point: (500, 375)) // 传入点击坐标 // r.mask 二值 mask // r.soft 抗锯齿软 mask // r.score 置信度

把r.mask渲染到图上，你就完成了人生第一次端侧图像分割——一次点选目标，立刻出 mask ✅

点选 vs 框选：哪种提示更可靠？

新手最容易踩的坑是"点了一下却没选中"。这里有个实用建议：

• 📦框选（box prompt）是最可靠的输入方式，对绝大多数目标都能稳定出 mask
• 👆 单击在纯色背景或合成图像上效果偏弱——这是上游 EdgeTAM 本身的特性，并非精度丢失
• 💡 如果你的场景以"单击选点"为主，可以考虑点击选择能力更强的 SAM2.1-hiera-small-fp16 作为补充

一句话总结：拿不准就框选，框选几乎不会失手。

视频跟踪：提示一次，逐帧跟随

除了静态图像，EdgeTAM-fp16 同样内置视频跟踪能力。用EdgeTAMVideoPredictor加载同一份权重，对首帧做一次 point 或 box 提示，目标即可在后续帧中持续被跟踪：

let vp = try EdgeTAMVideoPredictor.fromPretrained(weightsPath, dtype: .float16)

图像与视频共用一套 874 个张量，无需额外下载，一份权重两用。

精度实测：与官方 PyTorch 版本几乎一致

根据 README.md 中 v0.5.0 的对照评测（CPU fp32 通道 vs 上游 PyTorch，经官方 predictor 接口）：

• 🖼️图像：image_embed相对误差 ≤ 2.4e-4；所有 click 和 box 提示的 mask 在方形与非方形图像上 IoU 均为1.0000
• 🎞️视频：5 帧 point 与 box 跟踪保持 IoU ≥0.999

也就是说，MLX fp16 版本与官方 PyTorch 结果基本无损对齐，可以放心用于生产。

许可协议与文件速览

• ⚖️ 权重：Apache-2.0（源自 facebookresearch/EdgeTAM）
• ⚖️ 移植代码：MIT
• 📄 项目说明与用法示例见 README.md
• 📦 fp16 权重文件：model.safetensors

小结

EdgeTAM-fp16 把"点一下出 mask"的提示式分割体验带到了 Apple 设备本地：fp16 + MLX 让它体积小、推理快、数据不出设备；框选提示稳定可靠，图像分割与视频跟踪一份权重全包。克隆仓库、接入 Swift 包、调用predict(point:)，三步即可跑通你的第一次端侧图像分割。

• 人工智能
• 计算机视觉
• 本地部署