InfiniDepth 论文笔记

特征查询#

• 编码器：ViT 编码图像得到 token；参照 DPT 设计重组模块，从多个 ViT 层抽取 token 并投影到不同隐藏维度。
• 特征金字塔：浅层特征上采样到更高空间分辨率（保细节），深层特征保持原生分辨率（保语义），构成金字塔 $\{f^k\}_{k=1}^L$，$f^k\in\mathbb{R}^{h_k\times w_k\times C^k}$。
• 坐标映射：查询坐标 $(x,y)$ 映射到第 $k$ 尺度位置 $(x_k,y_k)=\left(x\cdot\frac{w_k}{W},\,y\cdot\frac{h_k}{H}\right)$。
• 局部聚合：在 $(x_k,y_k)$ 的 $2\times2$ 网格邻域 $\mathcal{N}_k$ 上做双线性插值，得到该尺度的查询特征 $f^k_{(x,y)}\in\mathbb{R}^{1\times C^k}$。

注意：特征查询用的是简单的双线性插值，而非学习偏移或交叉注意力。消融（表 9）显示这一最简单方案在度量深度上反而性能最好、开销最小。

深度解码#

将多尺度局部描述子从浅（细节）到深（语义）分层融合。令 $\mathbf{h}_1:=f^1_{(x,y)}$（最高分辨率尺度），对 $k=1,\dots,L-1$ 用残差门控融合块逐级融合：

$\mathbf{h}_{k+1}=\mathrm{FFN}_k\!\left(f^{k+1}_{(x,y)}+\mathbf{g}_k\odot\mathrm{Linear}(\mathbf{h}_k)\right),$

其中 $\mathrm{Linear}(\cdot)$ 对齐维度，$\mathbf{g}_k\in(0,1)^{C_{k+1}}$ 是可学习逐通道门控，$\odot$ 为逐元素乘，$\mathrm{FFN}_k$ 为两层前馈网络。最终由 MLP 头输出深度：

$d_I(x,y)=\mathrm{MLP}(\mathbf{h}_L).$

实现细节（补充）：FFN 先 4 倍升维再压回；MLP 头三层线性 + ReLU，输入维 1024、隐藏维 256，末层后用 ELU 缓解梯度消失。

无限深度查询（采样策略）#

目的：逐像素反投影得到的点云密度不均，需要按表面面积分配采样预算，使三维点在表面上均匀。

关键观察——每像素对应的三维表面面积 $\Delta S(x,y)$ 受两个几何因素影响：

• 深度平方缩放：远处像素覆盖的面积随距离平方增长（$\propto d^2$）。
• 表面朝向效应：法向偏离视线时投影被压缩，单个像素覆盖更大实际面积。

据此定义自适应权重

$w(x,y)=\frac{d_I(x,y)^2}{|\mathbf{n}(x,y)\cdot\mathbf{v}(x,y)|+\varepsilon}\propto\Delta S(x,y),$

$d_I^2$ 对应深度平方缩放，$|\mathbf{n}\cdot\mathbf{v}|$ 补偿朝向效应。法向由隐式场可微性给出，对反投影点 $\mathbf{X}(x,y)$ 关于连续图像坐标求雅可比并叉乘：

$\mathbf{n}(x,y)=\frac{\partial_x\mathbf{X}\times\partial_y\mathbf{X}}{\|\partial_x\mathbf{X}\times\partial_y\mathbf{X}\|}\in\mathbb{R}^3.$

采样实现（补充）：将 $w_i$ 归一化为概率 $p_i=w_i/\sum w_i$，构建 CDF，用均匀分层逆变换采样取目标值 $q_j=\frac{j+0.5}{N}$，找最小 $k_j$ 使 $\mathrm{CDF}(k_j)\ge q_j$，得到与 $\{p_i\}$ 频率匹配的像素索引；再对每个选中像素加 $\mathcal{U}(-0.5,0.5)$ 亚像素抖动。最终在这些连续坐标查询并反投影，得到近似均匀覆盖的点云。

法向图（图 4）由 torch autograd 自动求导得到，间接说明模型内部几何质量高。

实现要点#

• 编码器：DINOv3 ViT-Large；取第 4、11、23 层特征，投影到 256、512、1024 维；第 4、11 层特征分别上采样 4 倍、2 倍。
• 训练数据：只用合成数据集（真实数据深度噪声多、不完整）。包括 Hypersim、VKITTI、TartanAir、IRS、UnrealStereo4K、UrbanSyn；补充中还有 MatrixCity、MVS-Synth、BlendedMVS、CREStereo、FSD、DynamicReplica。
• 损失：隐式表示允许只监督稀疏采样点，随机取 $N$ 个坐标-深度对算 $l_1$ 损失 $\mathcal{L}=\frac{1}{N}\sum_i|d_i-\hat d_i|$；每图采样 10 万对。
• 优化：AdamW，学习率 $1\times10^{-5}$，8 卡 NVIDIA GPU，单卡 batch 4，训练 80 万步。
• 深度归一化：先转对数空间降低场景间方差，再用 2%/98% 分位做仿射不变归一化 $d_{norm}=\frac{d_{log}-d_{min}}{d_{max}-d_{min}}$。
• 亚像素监督：训练时保留真值深度图的原始（高于输入）分辨率，在像素内的亚像素坐标处监督；消融（表 7）证明优于仅在像素中心监督的逐像素监督。

评测协议与指标#

• 相对深度：五个真实数据集 KITTI、ETH3D、NYUv2、ScanNet、DIODE，评测前做尺度-平移对齐；在 Synth4K 评测全图 4K 与 HF 掩码区域。指标 $\delta_{0.5},\delta_1,\delta_2$，即满足 $\max(d/d^*,d^*/d)<1.25^{0.5},1.25^1,1.25^2$ 的像素百分比。
• 度量深度：用 PromptDA 的深度提示模块引入稀疏深度（每图采样 1500 点），记为 Ours-Metric，不做对齐。因带稀疏输入精度更高，故采用更严阈值 $\delta_{0.01},\delta_{0.02},\delta_{0.04}$（对应 1.01/1.02/1.04）。
• 公平性：所有方法同输入分辨率（真实集 504×672，Synth4K 504×896）；基线输出双线性上采样到 4K，本方法直接 4K 查询。

主要结果#

• Synth4K（表 1 相对、表 2 度量）：在所有子集、所有指标上显著领先所有现有方法，尤其在 HF 细节区域优势明显，凸显高分辨率与细粒度能力。
• 真实数据集相对深度（表 3）：Ours 与当前 SOTA 持平（KITTI/ETH3D/NYUv2 等多项 $\delta_1$ 领先）。
• 真实数据集度量深度（表 4）：Ours-Metric 明显优于 Marigold-DC、Omni-DC、PriorDA、PromptDA。Marigold-DC 因 VAE 量化损失导致度量精度低。
• 定性（图 5、6、7、11、12）：深度图、点云在边缘和高频区域更清晰、孔洞更少。

消融（表 5、7、8、9）#

• 深度表示（隐式场 vs DPT 离散网格解码，同编码器同数据）：度量深度提升显著，相对深度提升适中。原因：稀疏深度输入降低度量模糊性，隐式 + 局部预测进一步提精度；而纯 RGB 相对深度模糊性高，定量指标饱和，但视觉细节仍更好（图 7）。
• 多尺度特征查询 vs 单尺度末层特征：多尺度带来跨数据集的显著提升。
• 特征查询设计（表 9）：双线性插值优于坐标偏移 MLP、局部集成、交叉注意力——后者增加参数与计算却无增益。
• 编码器：DINOv3 vs DINOv2 在相对深度上无显著差异。
• 效率与参数量（表 6）：解码器参数量在所有对比方法中最低（约 15M）；速度慢于 DepthAnythingV2、MoGe-2（它们用卷积解码器、细节较差），但优于同样追求细粒度的 DepthPro、Marigold、PPD，且细节水平更高。

应用：单视角新视角合成#

• 给深度模型加轻量高斯泼溅（GS）头：用深度查询策略在可见表面生成均匀点作高斯中心，GS 头预测高斯属性（位置偏移 $o$、颜色偏移 $c$、尺度 $s$、不透明度 $\alpha$、旋转 $r$），并用颜色与 Plücker 射线特征加 ViT 特征构成逐点 token。
• 训练：冻结预训练 InfiniDepth 编码器，仅训 GS 头，学习率 $1\times10^{-4}$，$l_1$ + LPIPS 监督，在 Waymo 子集训练、未见场景评测。
• 结果（图 1c、8、13）：相比预测像素对齐深度的 ADGaussian，大视角（如 BEV）下孔洞与伪影显著更少，结果更完整稳定。