가상 시뮬레이션 환경에서 수집한 라이다 데이터 및 이미지를 이용한 라이다-카메라 캘리브레이션 테스트 결과
LiDAR-Camera 데이터 수집
- Unity3D 환경에서 생성한 가상 16채널 LiDAR와 카메라에서 체커보드가 촬영된 PCD-이미지 쌍 데이터 수집.
- 체커보드의 다양한 모습(각도, 깊이 등)이 촬영된 데이터를 수집함.
| PCD | Image |
|---|---|
-LiDAR-Camera-Calibration_image_1.png) | -LiDAR-Camera-Calibration_image_2.png) |
-LiDAR-Camera-Calibration_image_3.png) | -LiDAR-Camera-Calibration_image_4.png) |
3D, 2D 체커보드 평면 및 코너 추정
- 3D 포인트 클라우드 데이터에서 체커보드에 해당하는 평면을 추정하고, 체커보드 사각형의 꼭짓점 4개를 계산하여 추출함.
- → 3D Corner Points from PCD
- 이미지에서도 마찬가지로, 체커보드를 찾고 해당 평면의 사각형의 꼭짓점을 계산하여 추출함.
- → 2D Corner Points from Image
- (시각화 도구 개발) 3D 포인트 및 이미지를 계산된 결과와 함께 디스플레이함.
-LiDAR-Camera-Calibration_image_5.png)
-LiDAR-Camera-Calibration_image_6.png)
-LiDAR-Camera-Calibration_image_7.png)
LiDAR-3D to Image-2D Matrix
- 라이다의 3D Corner Points 와 이미지의 2D Corner Points 대응 쌍을 이용하여 라이다 좌표계를 카메라 좌표계로 변환하는 Rotation 행렬 과 Transtation 행렬 를 구할 수 있다.
- 이때, 3D 좌표를 이미지 좌표계에 투영하기 위해 카메라 내부 파라미터가 필요하다.
- 반복 최적화 방법으로 구한 를 이용하여 라이다 3D 좌표계를 이미지 2D 좌표계에 투영(Projection) 할 수 있다.
-LiDAR-Camera-Calibration_image_8.png)
-LiDAR-Camera-Calibration_image_9.png)
-LiDAR-Camera-Calibration_image_10.png)