DiffusionLight

DiffusionLight是一项利用扩散模型在单张输入图像中估算照明效果的技术。它利用训练好的Stable Diffusion XL模型绘制一个镜面反射球,然后将球体展开得到全景照明图。该技术解决了现有基于神经网络的方法依赖有限HDR全景数据集导致在真实复杂场景下效果不佳的问题。关键创新在于发现了扩散噪声图和镜面反射球生成质量之间的关系,迭代生成高质量镜面球;以及通过LoRA 进行多曝光训练,使LDR模型也可以输出HDR格式。该技术可产生逼真的照明估计,特别适用于野外场景。

需求人群

室内外环境建模和渲染,图像编辑后合成效果调整,人像照片美化,3D物体插入现实图片

使用场景示例

• 输入一张室内简约风格的照片,利用DiffusionLight预测镜面反射球,再根据球体制作照明贴图,实现室内场景3D模型的逼真渲染效果
• 输入一张马克杯的特写照片,利用DiffusionLight预测照明效果,再进行色调调整层叠,使杯子更加透明俏皮
• 输入一张正面半身像,利用DiffusionLight预测环境光照,再进行轮廓柔化,实现自然唯美的人像照片风格

产品特色

• 利用Stable Diffusion模型进行镜面反射球绘制
• 控制初始噪声图提升生成一致性
• 适用于室内外、人像等各种场景
• LoRA训练进行多曝光合成,输出HDR格式
• 与传统方法相比鲁棒性更强