반사 제거

  • 이미지 반사 제거

유리를 통해 촬영된 영상은 종종 원하는 투과 영상과 원하지 않는 반사 영상을 함께 나타낸다. 본 논문에서는 다른 카메라 위치에서 촬영한 다수의 유리 영상을 이용하여 자동으로 반사를 제거하는 최적화 문제를 제안한다. 먼저 다수의 유리 영상을 하나의 참조 유리 영상으로 워핑한다. 워핑된 영상들에서 그라디언트는 투과 영상에서 일관되는 반면 반사 영상에서는 다양하게 변한다. 이러한 관찰에 기초하여, 투과 영상에서 강한 에지의 픽셀은 높은 값을 갖고 반사 영상의 픽셀에는 낮은 값을 갖는 신뢰성을 정의 및 계산한다. 그리고 그라디언트 영역에서 제안된 최적화 문제를 해결하여 반사 영상의 그라디언트를 억제하고 투과 영상의 그라디언트만 유지한다. 끝으로, 추정한 투과 영상의 최적의 그래디언트 맵을 사용하여 원본 투과 영상을 복구한다. 실험 결과는 제안 알고리즘이 유리 영상에서 반사 아티팩트를 충실하게 제거하고 기존 알고리즘보다 우수함을 보인다.

  • 딥러닝 기반 이미지 반사 제거

유리 평면을 통해 촬영된 영상은 보통 유리 평면 뒤에 투과된 목표 장면과 유리 평면 앞에 반사된 장면을 모두 포함하고 있다. 우리는 하나의 유리 영상에서 반사 아티팩트를 제거하기 위해 의미론적 맥락을 활용한 네트워크를 제안한다. 보다 현실적인 학습 셋을 합성하기 위해 유리 영상 강도(intensity)에 대한 비선형적 매핑 관계를 조사한다. 그 후, 다중 스케일의 generator와 interpreter를 이용하여 효율적인 반사 제거 네트워크를 고안하는데, 여기서 interpreter는 투과 영상의 의미적 맥락을 제공하여 올바른 generator 학습을 유도한다. 우리는 또한 ground truth 투과 및 반사 영상을 포함하는 실제 유리 영상의 새로운 테스트 데이터 셋을 제공한다. 총 4개의 테스트 데이터 셋에서 수행한 실험 결과는 제안된 알고리즘이 최신 기법들에 비해 더 우수함을 보인다.

  • Publications
[1] Byeong-Ju Han and Jae-Young Sim, “Reflection removal using low-rank matrix completion,” in Proc. IEEE CVPR, Honolulu, USA, July 2017. [more]
[2] Byeong-Ju Han and Jae-Young Sim, “Glass reflection removal using co-saliency based image alignment and low-rank matrix completion in gradient domain,” IEEE Trans. Image Process., vol. 27, no. 10, pp. 4873-4888, Oct. 2018. [more]
[3] Byeong-Ju Han and Jae-Young Sim, “Single image reflection removal using non-linearly synthesized glass images and semantic context,” IEEE Access, vol. 7, no. 1, pp. 170796-170806, Nov. 2019. [more]