端到端投影仪光度补偿

Bingyao Huang 和 Haibin Ling

CVPR 2019 oral

[论文] [补充材料] [GitHub]

compennet

摘要

投影仪光度补偿通过调整输入图像，抵消投影表面外观带来的干扰。本文首次将这一任务表述为端到端学习问题，提出卷积神经网络 CompenNet，隐式学习复杂的补偿映射。网络由类似 U-Net 的主干和自编码器子网络组成，使相机拍摄的投影表面图像与输入图像在多个层级充分交互，从而同时获取表面的光度和环境信息。多级跳跃卷积连接还将视觉细节及交互信息传至更深的网络层。这一设计尤其适用于实际场景中训练数据有限的投影补偿任务。

本文还提出与系统搭建无关、可进行定量验证的评测基准。传统评测需要硬件系统实际投出最终结果，因此此前缺少这样的基准。基于端到端问题表述，我们使用合理的替代方式避免实际投影，使评测不依赖具体系统。基准上的实验表明，这一端到端学习方法在定性和定量结果上均明显优于已有方法。

网络结构

compennet

定性比较

compennet

compennet

相关工作

  • Bingyao Huang and Haibin Ling. CompenNet++: End-to-end Full Projector Compensation. ICCV. 2019. [论文] [补充材料] [GitHub] [项目页]
  • Anselm Grundhöfer and Daisuke Iwai. Robust, error-tolerant photometric projector compensation. IEEE TIP. 2015. [论文]
  • Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A. Efros. Image-to-image translation with conditional adversarial networks. CVPR. 2017. [论文] [项目页]
  • Shree K. Nayar, Harish Peri, Michael D. Grossberg, and Peter N. Belhumeur. A projection system with radiometric compensation for screen imperfections. ICCV workshop on projector-camera systems (PROCAMS). 2003. [论文] [项目页]