光轮智能 谢晨 访谈总结机器人仿真
- 关于创始人
- 关于数据
- 数据金字塔
- 数据痛点
- 仿真数据的重要性
- 仿真数据的质量
- b站链接地址
- 公司官网
关于创始人
清华物理;哥伦比亚金融;英伟达智驾仿真;小鹏智驾仿真;现为光轮智能CEO
关于数据
- 数据的重要性:数据对于智能, 类似教育对于人
- 数据的发展:step1机器视觉时期,数据集 - 静态 - 填鸭式教育;step2工业化 - 工厂式流程 - 量贩式教育;step3:大语言 后训练- 评价-考核 因材施教,传授反馈,基于更有效的传授与反馈
- 发展方向:静态数据变为教育系统;评价方变成数据提供方,更加针对性。数据朝着针对性指导这个方向去演进
数据金字塔
- 塔顶:实际机器人采集的数据
- 塔中:仿真生成的数据
- 塔基:互联网或者第一视角数据
数据痛点
- 训练数据来源:无法像实车一样,路上有千万台在运行。
- 评测标准:无法像实车司机实时监督,不符合标准就会介入。
仿真数据的重要性
- 重要性:没有仿真,机器人必然办不成机器人数据闭关与自动驾驶是完全不一样。是一个必须项目。
- 真机还得回归仿真:之前很多公司只要真机数据,不要仿真。现在又回来要仿真数据。因为感觉算法ok,但是无法大规模评测。真实场景与评价
- 数据真机派与仿真派之争:真机数据派暂占上风,因为她们就是卖真机的。
- 底层数据的采集:人类数据被低估。让人带上消费级硬件,百万级别的才行。
- 数据的价格:数据越来越贵,后训练与评价会越来越贵,是提升的关键。
仿真数据的质量
高质量数据:真实场景、足够多样化、足够真实、足够交互;轨迹记录。评价指标足够准确。
b站链接地址
公司官网
主要业务:
1、即用资源库:simready.com。可以购买仿真的物体,放入自己的场景中。
2、自定义资产创建服务
解释:客户给图片、点云、视频,给客户搭建仿真场景。
3、将现有的3D资产转换为可仿真资源
总结:搭建仿真场景并进行仿真的全栈式服务。
岗位相关的总结:
技术:使用Isaac,基于Physx物理引擎,创建USD仿真场景文件;修改资产常见问题;针对不同场景,使用不同碰撞体形式如Convex Hull等。
名词解释:
1、USD
USD(Universal Scene Description,通用场景描述) 是机器人仿真里的3D 场景 / 资产标准格式与框架,不是简单的模型文件,而是能描述整个仿真世界 + 机器人 + 物理 + 渲染的 “超级场景文件”。 -------------------------------------------------------- 一、USD 基本信息 开发者:Pixar(皮克斯),2016 年开源;NVIDIA 深度推广,是 Isaac Sim/Omniverse 核心格式。 核心定位:分层式场景图(Scene Graph),用于协作式、非破坏性编辑3D 内容。 常见后缀: .usd:默认,可文本 / 二进制 .usda:纯文本(可读、可直接改) .usdc:二进制(紧凑、快) .usdz:打包(含纹理 / 模型,用于分发) -------------------------------------------------------- 二、在机器人仿真里存什么(和 URDF/MJCF 区别) URDF:只存机器人连杆 / 关节 /kinematics(ROS 常用) MJCF:MuJoCo 用,侧重刚体 / 碰撞 / 物理参数 USD:全栈描述(机器人 + 环境 + 渲染 + 物理 + 传感器 + 动画) 具体包含: ✅ 机器人:连杆、关节、传感器、驱动、控制器 ✅ 环境:地面、墙、障碍物、地形、植被 ✅ 视觉:网格、材质、纹理、灯光、相机 ✅ 物理:碰撞体、刚体属性、关节摩擦、重力 ✅ 数据:动画、轨迹、传感器数据、时间序列 --------------------------------------------------------- 三、为什么机器人仿真用 USD(优势) 分层组合(Layered Composition): 机器人、环境、材质、物理可分文件存,多人并行编辑不冲突,改材质不影响模型。 超大场景支持:比 URDF/MJCF 更能扛工业级 / 城市场景(数万构件)。 渲染 + 物理一体化:一套数据同时给PhysX/MuJoCo 物理引擎 + RTX 渲染,不用格式转换。 生态强:Isaac Sim、Omniverse、Blender、Maya、Unity(插件)都支持。 四、在 Isaac Sim(光轮智能常用)里怎么用 机器人模型:.usda/.usdc 存机器人(可由 URDF 转) 场景:.usd 存工厂 / 仓库 / 楼宇 材质 / 纹理:单独 USD 层,可复用 物理:在 USD 里加 PhysicsBody/Collision 组件 USD=机器人仿真的 “全能容器”:既能存机器人,也能存整个世界;既能做物理仿真,也能做高清渲染;支持团队协作,是当前工业级仿真的事实标准。2、核心碰撞体形式
1. Convex Hull(凸包碰撞体) 含义 把一个复杂模型,用最小的凸多边形 / 多面体把它完全包起来,得到的就是它的凸包。简单理解:把模型想象成软面团,用力压到不能再凹进去的形状。 优点 求解极快:PhysX 等引擎对凸包碰撞检测做了高度优化,性能极高 稳定性好:几乎不会出现穿模、弹飞的情况 计算量固定:不管模型多复杂,凸包面数都可控 缺点 精度差:无法还原凹形物体的真实形状,比如齿轮、夹爪、镂空零件 会 “漏碰”:凹形结构的凹陷部分会被凸包 “填平”,导致物理行为失真 无法自碰撞:凸包会把整个连杆包起来,无法检测连杆自身部件的碰撞 --------------------------------------------------2. Convex Decomposition(凸分解 / 凸包分解) 含义 把一个凹形物体,拆成多个不重叠的小凸包,用多个凸包组合来近似原物体的形状。比如一个带孔的零件,会被拆成几个凸包块。 优点 精度比单个凸包高很多:能还原凹形物体的大致轮廓 性能接近凸包:引擎处理多个凸包的效率依然很高 支持非凸模型:是工业仿真里凹形机器人 / 零件的主流方案 缺点 有近似误差:还是无法做到和原模型100% 贴合,小缝隙 / 凹陷无法还原 分解耗时:复杂模型的凸分解需要专业工具(如 VHACD)处理,参数不好会导致碎片过多 多凸包的自碰撞问题:如果分解不当,小凸包之间会产生额外的碰撞 -----------------------------------------------3. Triangle Mesh(三角网格碰撞体) 含义 直接用模型的原始三角面网格作为碰撞体,1:1 还原模型的所有细节。 优点 精度最高:完美还原模型的所有凹凸、缝隙、细节,几乎没有近似误差 无需额外处理:直接导入模型就能用,不用做凸包 / 分解 缺点 性能极差:三角面数越多,碰撞检测越慢,复杂模型会直接把仿真帧率拖垮 稳定性差:非常容易出现穿模、抖动,尤其是薄物体或高速运动时 不支持连续碰撞检测:PhysX 等引擎对三角网格的 CCD 支持很差,高速运动的物体容易直接穿过去 -----------------------------------------------4. SDF(Signed Distance Field,带符号距离场) 含义 把物体周围的空间,分成 “物体内部 / 外部” 的距离场,任意一点的距离值表示该点到物体表面的距离(内部为负,外部为正)。是一种基于场的碰撞表示,不是几何形状。 优点 精度高且稳定:能还原复杂形状,同时避免穿模和抖动,高速运动下表现也很好 支持柔性碰撞:适合软体机器人、柔性夹爪、布料的碰撞检测 性能可控:可以通过调整 SDF 分辨率,在精度和性能之间做平衡 缺点 计算量大:生成和查询 SDF 都需要额外算力,大规模场景下性能不如凸包 不适合实时刚体:在纯刚体仿真里,SDF 的性能和凸包 / 凸分解比没有优势 实现复杂:不是所有物理引擎都原生支持,需要额外插件或工具 -----------------------------------------------------5. Primitive Collider(基础几何体碰撞体) 含义 用 ** 基础几何体(盒体、球体、圆柱体、胶囊体)** 来近似物体形状,比如用几个圆柱体拼一个机械臂,用盒体拼一个桌子。 优点 性能天花板:引擎对这些几何体的碰撞检测是最快的,几乎零开销 稳定性极强:完全不会穿模、抖动、弹飞 调试方便:可以直接在仿真里调整位置和大小,不用重新生成模型 缺点 精度最低:只能还原非常简单的形状,复杂零件几乎无法近似 制作麻烦:需要手动摆放多个几何体,拼接复杂物体时很费时间 视觉和物理不匹配:很容易出现 “视觉上没碰到,物理却碰撞了” 的情况对应的场景:
大语言就是数字世界agent;机器人就是物理世界agent。