当前位置：正文

彩/票电子这导致重建成果的细节确认欠安-开云(中国登录入口)Kaiyun·体育官方网站

调理物体的物理属性，对机器东说念主扩充操作终点蹙迫彩/票电子，关联词应该如何达成呢？

光轮智能与清华 AIR、同济大学等机构合股提倡了一种基于 3D 高斯溅射的步调——

PUGS（Zero-shot Physical Understandingwith Gaussian Splatting）

无需测验、零样本，它就约略从多视角图像中重建物体，并对多样指定的物理属性进行密集重建。

该论文已被 ICRA 2025 袭取。

在非结构化环境中，准确调理物体的物理属性不仅能匡助机器东说念主更好地瞎想握取计策，还能幸免因失实预计导致的操作失败（比如下手太重导致物体损坏）。

现存的步调如 NeRF2Physics 行使 NeRF 来对物体进行重建，并结合视觉讲话模子（VLM）与大讲话模子（LLM）进行物理属性揣测。

关联词，此类步调存在揣测成果碎屑化、物理属性不连气儿不对理的问题。

霸术团队通过 3D 高斯溅射当作重建表征，并引入区域感知特征来增强区域差别的才智。

在此基础上，结合基于 VLM 的物理属性揣测和基于特征的属性传播，不错达到更好的物体重建和愈加合理的物理属性揣测成果。

为了保稳健建成果的几何一致性，霸术团队还引入了几何感知的正则化损构怨稀薄耗损，确保高斯分散与物体的本色空间神气分散一致。

高斯溅射 + 视觉大模子，调理物理属性

PUGS 框架分为三个阶段——神气与区域感知的 3DGS 重建、基于视觉讲话模子（VLM）的物理属性揣测，以及基于区域特征的属性传播。

关于物体级别的物理属性（举例质地），则还包含高斯体积积分模块以得到举座的物理属性成果。

PUGS 以物体的多视角图像当作输入，同期允许给定需要揣测的物体属性（如密度、硬度系数、杨氏模量等），最终输出则是物体的重建成果，其中包含了物体的 RGB 信息，以及自便位置的物理属性。

神气与区域感知的 3DGS 重建

PUGS 最初使用 3DGS 来从多视角 RGB 图像中重建物体。

关联词原始的 3DGS 重建时时会出现 Floater，这导致重建成果的细节确认欠安，况且在几何的准确性上存在问题。

霸术团队参考现存步调，引入几何感知的正则化损构怨稀薄耗损，耗损项如下（如泄漏不好意思满，请傍边滑动）：

其中，是图像中的像素麇集，是归一化到 0 到 1 的图像梯度；

是基于像素点的局部平面计较得到的法向量，是基于 PGSR 提倡的无偏深度渲染计较得到的法向量，是每个高斯的不透明度。

这里是几何感知的正则化耗损，是稀薄耗损。

前者通过两种不同花式来渲染法线图，并饱读动输出成果尽可能一致，从而确保高斯分散与物体的本色空间神气一致；

尔后者则饱读动每个高斯的不透明度麇集 0 或 1，减少中间成果的存在。

引入几何感知的正则耗损（Geometry-Aware Regularization Loss, GARL）后，不错有用缓解 Floater 问题，增强几何的准确性。

此外，PUGS 还引入了区域感知的特征对比耗损，通过对比学习测验高斯分散的特征，使其约略差别物体的不同区域。

在本质场景中，物体名义可能存在不同的材料，如金属、木柴、塑料等，而这些材料在物体上时时确以为不同的区域。

对区域的差别有助于提高物理属性揣测的准确性。

霸术团队最初向每个 Gaussian 上引入一个新的可学习特征，并使用 -blending 来渲染出不同视角下的特征图，然后使用 SAM 对多视角图像进行分割，以差别物体的不同区域。

之后，行使对比学习来测验该特征。耗损函数如下：

其中，清楚两个像素是否属于吞并个区域，是两个像素点在特征空间中的余弦相同性。

直不雅来说，若是两个像素点属于吞并个区域，那么它们在特征空间中的余弦相同性应该越大越好，反之则应该越小越好。

△几何感知耗损与神气感知特征测验的暗意图基于 VLM 的物理属性揣测

在重建阶段完成后，PUGS 行使视觉讲话模子（VLM）进行零样本物理属性揣测。

NeRF2Physics 遴荐两阶段的步调来进行物理属性揣测。

它最初通过 VLM 来从物体的图像揣测物体的文本形色，然后将该文本形色输入给 LLM 来揣测材质和物理属性。

与 NeRF2Physics 不同，PUGS 平直使用 VLM 对多视角图像中的某一张进行材质和物理属性揣测，幸免了图像到文本颐养经过中的信息丢失。

该阶段 VLM 输出的成果包括物体可能的材质，以及这些材质的物理属性限度等。

这些属性在后续贯通过 CLIP 特征传播到重建的 3DGS 中。

基于区域特征的属性传播

为了将揣测的物理属性传播到重建成果中，PUGS 使用 CLIP 特征当作基础进行映射，并使用区域感知特征当作依据进行属性传播。

最初霸术团队从 3DGS 中立时采样一些高斯点当作 source point，并计较这些 source point 投影到多视角图像上得到的 patch 对应的 CLIP 特征。

这些特征与上一阶段得到的候选材质进行相同性的计较，以分拨不同的材质到对应的 source point 上。计较花式如下：

其中，是 source point 的物理属性值，是 source point 的 CLIP 特征与候选材质的 CLIP 特征之间的余弦相同性，是一个温度参数。

△基于神气感知特征的物理属性传播

为了完成密集的物理属性揣测，霸术团队使用区域特征当作依据进行属性传播。计较花式如下：

其中，和分别是高斯和的区域感知特征。

基于区域感知特征的属性传播花式使得物理属性揣测成果愈加均匀和精准。

高斯体积积分

通过上头三个阶段，PUGS 依然不错完成物体的重建以及密集的物理属性揣测，即在物体名义的每个点皆约略得到相应的物理属性。

而关于物体级别的物理属性（如质地），PUGS 提倡了基于高斯体积积分的模块来进行计较。

以物体质地的揣测为例，通过上述阶段，PUGS 不错得到每个 3D 高斯点对应的物理属性，即密度值。

之后每个 3D 高斯被视为一个 3D 椭球体，通过其不透明度进行加权，同期结合揣测的密度值进行积存计较，得到物体的初步体积揣测。

这个初步体积揣测成果是存在舛误的，因为 3DGS 重建成果时时只会对物体的名义进行建模，而物体里面确认出缺乏。

为了进一步提高精度，PUGS 引入了" pure volume "办法，这代表一个物体忽略缺乏区域后的体积，一般会远小于时时意旨下物体的体积。

PUGS 通过辅导 VLM 来获得物体的 pure volume，并以此修正最终的揣测成果。

揣测准确性大幅培植

定性成果泄漏，NeRF2Physics 的材质揣测确认出碎屑化等不对理的情况，PUGS 的揣测成果则愈加准确和合理。

在物体的握取实验中，PUGS 准确揣测了一个棉布包裹的杨氏模量（0.5+GPa），使机械臂的夹持器约略以得当的启齿大小收效握取物体。

比较之下，NeRF2Physics 失实地揣测了该物体的杨氏模量（30+GPa），导致夹持器启齿接近物体宽度，最终握取失败。

霸术团队还在 ABO-500 数据集上进行了物体质地预计的实验，并与 NeRF2Physics 进行了对比，成果 PUGS 在多个宗旨上皆确认更优。

此外，霸术团队还对上述 PUGS 的 Pipeline 中的不同模块进行消融实验，包括几何感知的正则化耗损、区域感知的特征测验以及基于高斯体积积分模块，成果标明这些模块皆有助于培植定量成果。

其中不仅在 ABO-500 数据集上举座有所培植，况且在一些具有特等特征的物体上培植愈加光显。

下表的 subset A 指的是 ABO-500 中一些具有较为精采结构的物体构成的子集，而 subset B 指的是那些具有多种区域和材质的物体子集。

这清楚几何感知的正则化耗损对具有精采结构的物体培植较大，而区域感知模块则对多种材质和区域的差别愈加有用。

总之，PUGS 不仅约略准确重建物体的几何神气，还能保持物理属性揣测的材质一致性，这关于本色的机器东说念主应器具有蹙迫意旨。

同期该重建成果也约略当作一种捎带干系物理属性的重建钞票，用于其他干系的下贱任务。

论文地址：

https://arxiv.org/pdf/2502.12231

技俩主页：

https://evernorif.github.io/PUGS/

GitHub：

https://github.com/EverNorif/PUGS

—  完  —

投稿请责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 技俩主页联结，以及接头花式哦

咱们会（尽量）实时恢复你

一键慈祥 � � 点亮星标

科技前沿进展逐日见

一键三连「点赞」「转发」「堤防心」

接待在批驳区留住你的思法！彩/票电子