(Stereo) 3D Object Detection on Ground Plane

단안 카메라를 이용한 실시간 주행 환경에서, 지면(Ground Plane)과 영상의 변환 관계(homography)를 이용하여 지면과 지면 위에 존재하는 3차원 객체를 분리함

Results

---

Reference Study

• 연구실 선배님께서 진행하신 연구
• 특허: 스테레오 이미지 시차 정합을 이용한 이미지 객체 검출 장치 및 방법

개요

• 스테레오 이미지 시차 정합을 이용한 이미지 객체 검출 장치 및 방법 에서 지면과 영상의 변환관계(homography)를 이용해 스테레오 카메라 시스템에서 두 영상을 지면 기준 변환을 통해 정합하고, 그 차이 정보를 이용하여 지면 위의 3D 객체를 추정할 수 있다.
• 이를 응용하여, 단안 카메라 시스템에서 촬영된 연속적인 영상의 현재 프레임과 이전 프레임에서 지면 기준 변환 및 정합을 통해 지면 위의 3D 객체를 추정한다.

Key-Points

• 스테레오 카메라의 두 영상이 동일한 지면을 바라 볼 때, 지면과 좌우 영상간의 homography를 사용하여 지면을 기준으로한 오른쪽 영상과 왼쪽 영상의 관계를 정의할 수 있다.

$$\begin{array}{rl}& \\ & {\mathbf{H}}_{RGL}={\mathbf{H}}_{GL}\times {\mathbf{H}}_{RG}\end{array}$$ $$\begin{array}{rl}& {\mathbf{H}}_{GL}:\text{Ground}\to \text{Left Image}\\ & {\mathbf{H}}_{RG}:\text{Right Image}\to \text{Ground}\\ & {\mathbf{H}}_{RGL}:\text{Ground based, Right Image}\to \text{Left Image}\\ & \end{array}$$

• 좌측 영상과, ${\mathbf{H}}_{RGL}$ 호모그래피가 적용된 우측 영상이 겹쳐진 영상은 아래와 같다. 좌우 영상의 각 지면에 대한 homography를 사용함으로써 지면의 영역은 일치하나 높이를 가진 객체 영역은 차이를 보이고 있음.
• 지면 영역에 대한 시차를 0으로 만들었다.

---

단안 영상에서 지면가정을 활용한 객체 검출

개요

• 기존연구의 지면가정 원리를 참고하여 단안 카메라를 이용한 실시간 지면 주행 영상으로부터 현재 시점 영상과 이전 시점 영상의 지면 기반 변환 관계를 이용해 지면 위에 존재하는 높이를 가진 3차원 객체를 검출함.

Key-Points

• 기존연구에서 좌우 영상을 각각 현재영상($I_C$)과 이전영상($I_P$)로 대체함.
• 기존연구에서는 스테레오 카메라 시스템에서 좌우 영상이 동일한 시점에 동일한 지면을 바라보지만(스테레오 시스템으로 인한 시차만 존재함), 단안 카메라 시스템에서는 현재 영상과 이전 영상은 서로 다른 시점으로 그 규칙을 정의할 수 없다.
• 마찬가지로 고정된 스테레오 시스템에서 좌우 영상과 지면과의 두 개의 homography는 모두 최초에 계산하여 사용할 수 있지만, 단안 카메라 시스템에서는 최초에 계산할 수 있는 영상과 지면과의 homography는 하나이다.
• 따라서, 기존연구의 방법을 단안 카메라 시스템에 활용하기 위해서 현재영상과 이전영상의 변환관계를 매번 계산할 필요가 있다.

$$\begin{array}{rl}& \\ & \\ & {\mathbf{H}}_{CGP}={{\mathbf{H}}_G}^{-1}\times {\mathbf{H}}_{CP}\times {\mathbf{H}}_G\end{array}$$ $$\begin{array}{rl}& {\mathbf{H}}_G:\text{Image}\to \text{Ground}\\ & \\ & {{\mathbf{H}}_G}^{-1}:\text{Ground}\to \text{Image}\\ & \\ & {\mathbf{H}}_{CP}:\text{Ground based, }{\mathbf{H}}_G{I}_C\to {\mathbf{H}}_G{I}_P\\ & \\ & {\mathbf{H}}_{CGP}:\text{Ground based, Current Image}\to \text{Prev Image}\\ & \end{array}$$

현재영상과 이전영상의 지면가정 변환관계

• 현재영상과 이전영상 사이의 지면을 기준으로한 차이를 ${\mathbf{H}}_{CP}$ 라 한다.
• 지면과 수평으로 움직이는 카메라로부터 순차적으로 영상을 수집한다고 가정하여 아래 방법들로 ${\mathbf{H}}_{CP}$를 계산할 수 있다.

센서 이용

• 카메라와 동일한 위치에서, 동일하게 움직이는 IMU, GPS 등의 센서로부터 수집된 데이터를 바탕으로 지면 기준 카메라의 변환관계 ($[R|t]$ = ${\mathbf{H}}_{CP}$) 를 계산한다.
• 이를 현재영상을 지면좌표계(Top-View)로 변환한 영상 ${\mathbf{H}}_G{I}_C$ 와 연산을 통해 이전시점의 탑뷰 영상인 ${\mathbf{H}}_G{I}_P$ 와 유사한 영상을 얻을 수 있다.
• 결국 지면 정보만을 반영하지 못함.

영상 특징 이용

• 핵심은 지면 정보만 반영하는 것이므로 현재영상과 이전영상을 ${\mathbf{H}}_G$를 이용해 탑뷰(Top-View)로 만든 두 영상을 각각 ${\mathbf{H}}_G{I}_C$, ${\mathbf{H}}_G{I}_P$ 라 할 때, 두 영상 사이의 변환관계를 계산하여 ${\mathbf{H}}_{CP}$를 구할 수 있다.

! 100도, 190도 카메라를 활용한다면?

• 동일한 지면을 바라보는 서로 다른 카메라를 활용한다면?