CVPR 2016 Paper
텍스트 인식(Text Recognition) 태스크에서 커브 형태 및 자유 형태 또는 촬영 각도 등에 perspective 형태를 가지는 irregular text를 인식하기 위한 방안을 제시
본 논문은 irregular한 텍스트 인식을 위해 다음과 같은 방법을 제안하였다.
(*) Jaderberg, Max, Karen Simonyan, and Andrew Zisserman. "Spatial transformer networks." Advances in neural information processing systems. 2015.
제안 방법은 STN을 이용하여 입력 영상에 대한 rectification을 수행한다. 이 때, 단순히 STN을 이용한 변환을 수행해서는 학습된 결과가 의도한 irregular text에 대한 rectificiation을 수행하도록 도출되지 않기 때문에 이러한 변환을 수행할 수 있는 explicit한 가이드를 줄 수 있는 방법을 제안하였다.
제안 방법의 핵심은 localization network로 부터 이미지 내의 텍스트 주변의 fiducial points에 대한 예측을 수행하고, grid genarator에서 해당 point들을 TPS(thin-plate-spline) transform을 계산하고, Sampler에서 input image에 대한 rectification을 수행한다.
STN의 장점은 위 모든 연산이 differentiable 한 연산들로 구성되어 각 모듈의 파라미터들이 학습이 가능하다는 점이다.