라이트필드(Light Field)는 피사체로 반사되는 빛의 세기와 방향을 3차원 공간에서 표현하는 것을 말합니다. 가상현실 공간에서 시각적으로 왜곡 없는 완전한 몰입형 실감영상이 시청 가능하게 해주는 기술입니다. 라이트필드(Light Field)의 개념과 원리에 대해 정리해 보도록 하겠습니다.
라이트필드(Light Field) 개념
라이트 필드는 장면에서 발산되는 광선의 4D 표현입니다. 단일 시점에서 카메라 센서에 닿는 광선만 캡처하는 기존 사진보다 장면을 더 완벽하게 표현합니다.
4D 함수를 통한 표현 두 개의 2차원 면을 통과하는 광선들의 세기와 방향으로 LF 영상 표현 가능 하며 구현하는 화면은 2D LF로 해석하게 됩니다. (4D LF의 두 면을 절단한 형태 )
라이트필드(Light Field) 정의
피사체로부터 반사된 모든 광선들이 여러 각도의 카메라에 투영된 영상을 말하며, 고밀도의 방향에서 획득된 시점영상 (완전한 입체, 연속적인 시점의 변화, 깊이에 따른 초점 변화 지원)을 제공합니다.
다중 카메라
라이트필드(Light Field)를 구현하려면 다수 카메라를 사용 하는 다중카메라 기술이 필요합니다. 다중 카메라의 특징을 요약해 보면 다음과 같습니다.
- 시야각 넓음
- 획득 가능한 깊이 범위 넓음
- 시점 영상당 해상도를 CCD의 해상도와 동일하게 유지
- 카메라 설치 어려움
- 촬영 후 후처리 어려움 (정렬 및 보정)
1D선형어레이 (1D linear array)
수평시차를 지원하는 자동 입체 or 다중 뷰 디스플레이
2D 어레이(2D array)
존체시차 디스플레이 지원
Dense Lighjt Field
마이크로렌즈를 이용하여 만든 렌즈셋을 2차원 배열 형태로 구성한 다시점 영상입니다.
이 영상을 구현하기 위해선 마이크로 렌즈가 필요합니다, 마이크로 렌즈의 특징을 요약해 보면 다음과 같습니다.
- 영상의 정보와 방향성 정보를 동시에 획득 (단일 CCD 센서)
- 획득 가능한 광선의 각도가 작음
- 획득 가능한 깊이 범위가 얕음
- 방향 해상도가 증가할수록 시점 당 공간 해상도가 감소 (여러시점 영상이 한정된 이미지 센서에 동시에 투영)
장면의 한 지점의 다 방향 색상 정보는 마이크로 렌즈 배열을 통해 CMOS 센서의 다른 픽셀에 캡쳐 후, 각 마이크로 렌즈 관점 EI (Elemental Images)에서 장면의 인접한 시점이 획득합니다. 이것은 장면을 렌더링 할 때 작은 원근 변화가 지원됩니다.
라이트필드(Light Field) 기술 구현
라이트 필드 기술 구현을 위헤서는 완전 입체 영상 재현 조건, 변이기반 시점 합성, 3차원 워핑 기반 시점 합성
3가지 기술이 필요 합니다.
완전 입체 영상 재현 조건
저밀도로 획득한 LF 영상을 가상 시점 영상으로 합성하여 고밀도의 LF 영상을 생성하여 재현하는 기술입니다.
변이기반 시점 합성
두 영상 사이의 새로운 시점 영상의 픽셀 값을 계산하여 합성하되 제한적인 시점 영상만 합성 가능한 기술입니다. 구현이 간단하고 처리 복잡도는 낮습니다.
3차원 워핑 기반 시점합성
변이값과 카메라 매개변수로부터 추정된 깊이 정보 이용하여 각 픽셀을 3차원 점으로 워핑 후 새로운 시점 영상으로 재투영하는 기술입니다. 임의 위치 가상 시점 합성 가능합니다.
라이트필드(Light Field)의 다양한 효과
피사계 심도 제어
얕은 피사계 심도로 장면을 캡처한 경우에도 라이트 필드를 사용하여 피사계 심도가 넓은 이미지를 만들 수 있습니다. 이것은 보는 사람이 이미지의 다른 부분에 집중할 수 있도록 함으로써 이루어집니다.
재초점
라이트 필드를 사용하여 이미지를 캡처한 후 초점을 재조정할 수 있습니다. 이는 시청자가 초점을 변경할 수 있도록 함으로써 이루어집니다.
시점 보간
라이트 필드를 사용하여 다양한 시점에서 이미지를 생성할 수 있습니다. 이는 뷰어가 장면 주위를 이동할 수 있도록 함으로써 수행됩니다. 라이트 필드는 여전히 상대적으로 새로운 기술이지만 우리가 이미지와 상호 작용하는 방식을 혁신할 수 있는 잠재력이 있습니다. 보다 몰입감 있고 상호 작용하는 경험을 만드는 데 사용할 수 있으며 기존 이미지의 품질을 향상하는 데에도 사용할 수 있습니다.
라이트필드(Light Field)의 기술의 응용
가상 현실
라이트 필드 기술을 사용하여 보다 몰입감 있는 가상현실 경험을 만들 수 있습니다. 시청자가 장면의 다른 부분에 초점을 맞출 수 있게 함으로써 라이트 필드 이미지는 기존 VR에서는 불가능한 깊이감과 현장감을 생성할 수 있습니다.
3D 인쇄
라이트 필드 기술을 사용하여 실제 개체의 3D 모델을 만들 수 있습니다. 객체에서 방출되는 광선을 캡처함으로써 라이트 필드를 사용하여 객체의 완전한 3D 표현을 생성할 수 있습니다.
컴퓨터 비전
라이트 필드 기술을 사용하여 컴퓨터 비전 알고리즘의 성능을 향상할 수 있습니다. 장면을 보다 완벽하게 표현함으로써 라이트 필드는 알고리즘이 장면과 그 내용을 더 잘 이해하도록 도울 수 있습니다. 라이트 필드 기술은 아직 개발 초기 단계에 있지만 우리가 이미지와 상호 작용하는 방식을 혁신할 수 있는 잠재력이 있습니다. 기술이 계속 발전함에 따라 더 넓은 범위의 응용 분야에서 라이트 필드 기술이 사용되는 것을 기대할 수 있습니다.
XR기술의 기본 개념인 라이트필드(Light Field) 기술에 대해 알아보았습니다. 개인 맞춤형 미디어 시장은 발전할 것으로 보이며 그동안 제품 양산에 소홀했던 세계 각국 기업들이 관련 기술을 적용한 제품 양산에 시동을 건 상황입니다.
기본적인 개념을 알고 방송환경에 적용할 수 있는 기술에 대해 집중해 보시기 바랍니다.
'Broadcast Tech.' 카테고리의 다른 글
| 미디어 콘테츠 보안 기술 방법 (0) | 2023.07.11 |
|---|---|
| 애플 비전프로 (Apple Vision Pro)특징과 적용 기술분석 (0) | 2023.07.06 |
| TV영상신호인 감마(Gamma)신호 조정 (0) | 2023.07.02 |
| TV영상신호의 플레어(Flare)신호 조정 (0) | 2023.06.30 |
| HMD(Head Mounted Display)의 개념과 구성 원리 (0) | 2023.06.29 |
댓글