英伟达团队最新推出图像生成技术 PiD(像素扩散解码器),能在不到 1 秒内将 512x512 像素的图像潜变量解码并放大至 2048x2048 像素。在消费级 RTX 5090 显卡上,峰值显存仅 13 GB。
传统高分辨率图像生成中,解码器主要负责“复原”压缩后的图像,但难以高效补足高分辨率细节。PiD 将解码与上采样合并到同一个生成模块中,通过条件式像素扩散技术,在输出阶段主动补足纹理、结构和局部细节。
PiD 基于 PixelDiT 构建,并加入轻量级 ControlNet 风格适配器,通过门控机制动态调整对潜在表示的信任程度。团队还采用 DMD2 蒸馏技术,将推理步数压缩到 4 步,配合早停机制,兼顾速度与质量。在 GB200 GPU 上,处理时间最快可达 210 毫秒。
PiD 不仅适用于传统 VAE 潜变量,也兼容 RAE 路线常用的语义潜变量(如 SigLIP 和 DINOv2),具备较强通用性。相比级联式扩散超分方案,PiD 端到端延迟最多快约 6 倍,同时视觉保真度更优。
文中提及的 AI 工具
评论
正在加载评论…