(MonoDepth) Monocular Depth 기반 매핑 및 3D 시뮬레이터

Depth Map 추출 및 정규화

• 딥러닝 기반 모델 Depth Anything V2를 이용한 단안 프레임 depth 정보 추론
• image based mono-depth의 추론 결과는 매 프레임 depth scale이 다르기 때문에 기존 알고있는 정보를 이용해서 depth to meter 를 통해 정규화 및 단위 변환을 수행함
• depth to meter 정규화를 위해 지면 segmentation 정보를 활용함 ((GPS Fusion) GPS + Segmentation Mapping)

정규화 방법

Depth to Meter

• 아래 모델을 통해 추출된 depth map의 float 값을 meter 단위로 정규화함 (depth 값이 작아질수록 거리는 무한에 수렴함)

$$\text{depth meter}=\frac{a}{\text{depth}}+b$$

depth_meter = a / depth_map + b

3D 시뮬레이터 개발 및 매핑 테스트

• 3D 포인트 클라우드를 실시간 display 하는 시뮬레이터 개발 (only OpenCV)
• 추출된 포인트를 시각화, 생성된 맵을 통해 추론 및 정규화된 depth 정보를 평가함