世博体育app下载尽管不错高效溅射和光栅化-世博体育官网2024安卓最新版_手机app官方版免费安装下载

发布日期：2026-05-21 10:51    点击次数：192

三维高斯泼溅（3D Gaussian Splatting）使得实时高质料渲染成为可能世博体育app下载，是刻下 3D 视觉限度最常用的算法之一。

问题在于，基于表现高斯单位的默示形状，尽管不错高效溅射和光栅化，其密集化和优化经由却往往会生成冗余的高斯点，导致单个重建场景可能包含数百万个高斯点。

这不仅镌汰了覆按和渲染速率（本可能更快），还导致显贵的内存耗损。

当今，来自上海 AI Lab 的征询团队提议MaskGaussian，将掩码和会进光栅化经由，初度为被使用和未被使用的高斯同期保留梯度，在剪枝高斯的同期，MaskGaussian 极大律例地保握了重建质料，提高了覆按速率和减小内存需求。

△与 3DGS 比拟，MaskGaussian 在不影响重建质料的情况下减少高斯点数

该职责既赞助重新开动的覆按，也赞助对现存的高斯进行微调。

△MaskGaussian 使用更少的高斯更优秀的地还原出藤蔓的"细枝小节"

实践落幕表现，MaskGaussian 在Mip-NeRF360、Tanks & Temples和Deep Blending三个数据集上永诀剪枝了62.4%、67.7%和75.3%的高斯点，且性能耗费不错忽略不计。

对冗余高斯点进行剪枝，面前主要有两种方法：

第一类方法基于手工意象打算的蹙迫性评分，移除评分低于预设阈值的高斯点。这类方法常常需要扫描整个覆按图像以筹谋蹙迫性评分，因此剪枝只可在覆按技术实行一次或两次。

第二类方法使用可学习的掩码，将其与高斯点的属性相乘以给与梯度。尽管这种方法允许通过掩码安谧移除高斯点，但渲染的场景耐久依赖于沟通的高斯点子集 : 淌若一个高斯点未被移除，它会一直存在到刻下迭代； 一朝被移除 , 它将被遥远放手。这种细目性的掩码生成未能议论剪枝后场景的演化，可能导致一些刻下孝顺较小但在覆按后期可能关键且难以规复的高斯点被移除。这导致次优的重建后果，尤其是细节或小物体的丢失。

征询团队觉得，刻下存在的掩码剪枝战术阐扬受限的主要原因在于：掩码与高斯的透明度等属性相乘后，CUDA 渲染器无法产生来自未使用高斯的梯度。

看成类比，在传统的 Transformer 的掩码剪枝中，未被使用的 token 会以零值参与筹谋并得到梯度，使 token 不论是否被使用齐能得到更新，幸免优化经由朝着单一情景发展；而在 3DGS 中，CUDA 渲染器会平直跳过溅射到 2D 上透明度为 0 的高斯，不进行梯度筹谋，使得未被用的高斯无法得到更新。

针对这些问题，MaskGaussian 旨在为每个高斯点学习一个掩码散播。通过从该散播中采样，不错生成一个二值掩码，提醒该高斯点的存在或不存在。然后，整个高斯点在不受掩码插手的情况下进行步调溅射，并和掩码一谈插手渲染筹谋。

掩码为 1 和 0 的高斯齐不错通过改造后的 CUDA 渲染器得到正确梯度，筹谋其存在 / 不存在两种情况下对刻下场景的孝顺影响。

如下图所示，盼愿的情态更接近掩码为 0 的高斯点，而不是后来面的积聚情态，得到的梯度便会使加多其存在概率，以便在后续迭代中被使用。可贵该经由中并无东谈主工意象打算，十足由梯度信息指引。

掩码光栅化：前向经由

CUDA 渲染器中的原始渲染公式如下：

其中，，，永诀是像素点的情态，第 i 个高斯的情态，透明度和透光率。

为了剪枝不蹙迫的高斯点，MaskGaussian 添加了掩码，该掩码不错与其他高斯点属性一谈进行优化，以评估高斯点的孝顺。

掩码的生成视为一个两类采样经由。具体来说，MaskGaussian 为每个高斯点分派两个可学习的掩码分数，并欺骗 Gumbel-Softmax 从两个分数中采样一个可微分的类别，记为

。通过幸免将掩码平直欺骗于高斯点属性，MaskGaussian 保留了溅射的 α 的齐全性，使高斯的筹谋不会被跳过，概况十足参与光栅化。

然后，论文在光栅化框架中平直集成掩码，修改两行 CUDA 代码，如下公式所示：

掩码被欺骗于情态积聚和透射率衰减经由。那时，高斯点平时对情态孝顺并左证其耗损透射率；那时，高斯点的情态孝顺被掩码，其透射率耗损被跳过。

这种公式确保了在处理被掩码高斯点缺失机，前向光栅化落幕的正确性。需要可贵的是，被掩码的高斯点仍然参与前向筹谋，并概况经受有好奇的梯度。

掩码光栅化：反向经由

为了阐明梯度公式，MaskGaussian 界说为从第 i+1 个高斯点到终末一个高斯点渲染的情态，即 :

其中，，永诀是第 j 个高斯点的情态、散射密度和透射率。接着，掩码的梯度默示如下，领路详见论文附录：

其中是总耗费函数，是提醒高斯点存在或不存在的二值掩码，是像素 x 的最终输出情态，和永诀为第 i 个高斯点的情态和后来的情态累计值。

梯度公式不错分为两部分和会：

对情态的权重：决定了该高斯点对最终情态的影响进程，也转折决定了该点对梯度的孝顺大小。较大的权重意味着该点对渲染落幕的蹙迫性更高。

情态优化标的：

中，默示耗费函数对输出情态的优化标的，而

默示使用第 i 个高斯点的情态相较于布景情态的上风。举例，淌若两者的点积为正，则阐明使用该高斯点是故意的，掩码会经受到正梯度，从而加多该高斯点的存在概率，即便它刻下未被采样和使用。

好奇的是，这个梯度公式也曾包含了，即基于分数的剪枝方法所使用的蹙迫性步调。

此外，这一公式还捕捉了所需情态与被掩码高斯点情态之间的研究，这是分数剪枝方法无法测量且容易忽略的骨子。

与通过高斯点的不透明度和圭臬与掩码相乘的方法比拟，本文的方法并未将掩码梯度与这些属性绑定，从而幸免了对微型高斯点的不利影响。此外，该方法还允许被掩码的高斯点经受梯度，以更新其掩码散播。

这一立异使得被掩码的高斯点，即使未被平直采样，在优化经由中依然概况对场景作念出潜在孝顺的改革。这处理了传统剪枝方法中未被采样点安谧失效的"归天螺旋"问题，从而灵验普及了剪枝后果和渲染质料。

覆按与剪枝

MaskGaussian 使用平方损背经管高斯点的平均数目，其界说如下，并在实践中考证其优于耗费：

其中是高斯点的总额，是第 i 个高斯点的掩码值（取值为 0 或 1）。最终的耗费函数为：

其中，是渲染的图像耗费（常常是感知耗费或像素级耗费），是均衡超参数，用于适度掩码经管的强度。

为了剪枝掉采样概率接近零的高斯点，论文对每个高斯点进行 10 次采样，并移除那些从未被采样的点。该剪枝经由在每次密集化才智后以及每 1000 次迭代中实行一次。

通过鲁莽的实践落幕和分析，征询团队领路了 MaskGaussian 的灵验性。

在 Mip-NeRF360、Tanks & Temples 和 Deep Blending 三个数据集上，MaskGaussian 永诀剪枝了 62.4%、67.7% 和 75.3% 的高斯点，且性能耗费不错忽略不计。

姿色地址：https://maskgaussian.github.io/

代码畅达：https://github.com/kaikai23/maskgaussian

一键三连「点赞」「转发」「留心心」

接待在驳倒区留住你的思法！

—  完  —

学术投稿请于职责日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿骨子‍

附上论文 / 姿色主页畅达，以及有关形状哦

咱们会（尽量）实时恢复你

� � 点亮星标 � �

科技前沿进展逐日见世博体育app下载