최근 360° 환경을 언리얼 엔진에 적용할 스카이박스를 만들기 위해 여러 방법을 고민해보았습니다. 특히 Stable Diffusion과 Latent Diffusion을 활용하는 방식과, 파노라마 이미지를 생성한 후 이를 3D 공간에 투영하는 방식 사이에서 많은 고민이 있었습니다. 이번 글에서는 제가 직접 겪은 경험과 함께 두 접근법의 장단점을 정리하며, 제 의견을 솔직하게 공유하고자 합니다.

Stable Diffusion과 Latent Diffusion, 그리고 기본 개념

먼저, Stable Diffusion과 Latent Diffusion의 기본 원리에 대해 간략하게 짚어보고 넘어가겠습니다.

• **Diffusion Model(확산 모델)**은 데이터(예: 이미지)에 점진적으로 노이즈를 추가하는 forward process와, 이를 역으로 제거하는 reverse process를 학습하여 이미지를 생성하는 방법입니다. 이 모델은 높은 생성 품질을 자랑하지만, 픽셀 공간에서 직접 작업할 경우 계산 비용과 메모리 소모가 큽니다.
• Latent Diffusion은 이 문제를 해결하기 위해 이미지 데이터를 압축된 잠재 공간(latent space)으로 변환한 후, 그 공간에서 확산 과정을 수행합니다. 이를 통해 계산 효율성과 학습 속도가 크게 개선되고, 고해상도 이미지 생성에도 유리한 결과를 가져옵니다.
• Stable Diffusion은 이러한 Latent Diffusion의 아이디어를 활용해 텍스트 조건부 이미지 생성에 최적화된 구체적 모델입니다. CLIP 등의 텍스트 인코더와 결합해 사용자 프롬프트에 맞는 이미지를 생성하며, 오픈소스로 공개되어 다양한 응용이 가능하다는 점에서 많은 주목을 받고 있습니다.

6면 큐브맵 vs. 파노라마 이미지

기존의 접근법에서는 Stable Diffusion 혹은 Latent Diffusion을 활용해 6면(정면, 좌우, 상하, 후면) 각각의 이미지를 개별적으로 생성한 후, 이를 큐브맵 형태로 결합하는 방식을 사용했습니다. 하지만 동일한 seed 값을 사용해도 모델의 내재적 확률적 특성 때문에 각 면마다 미세한 차이가 발생하는 문제가 있었습니다. 이러한 차이는 최종적으로 360° 환경을 구성할 때 경계선이나 전체적인 일관성에서 이상한 결과를 초래할 수 있었습니다.

그래서 저는 전체 파노라마(예: equirectangular) 이미지를 한 번에 생성한 후 이를 3D 공간에 투영하는 방식을 강력하게 고려하게 되었습니다.

파노라마 이미지 생성 및 투영 방식의 장점

1. 전체 일관성 확보
   하나의 이미지로 360° 환경을 생성하기 때문에 각 부분 간의 연결에서 발생할 수 있는 불일치가 없어지고, 시각적 통일성이 높아집니다. 개별 면을 생성할 때마다 발생하는 미세한 차이를 걱정할 필요 없이, 자연스럽고 통합된 환경을 얻을 수 있습니다.
2. 언리얼 엔진과의 높은 호환성
   언리얼 엔진에서는 equirectangular 텍스처를 활용해 구면 매핑을 하는 것이 표준입니다. 따라서 파노라마 이미지를 그대로 스카이박스나 구면 메쉬에 적용하는 것이 자연스럽고, 추가적인 후처리나 복잡한 파이프라인 없이 바로 사용할 수 있습니다.
3. 후처리 파이프라인의 단순화
   큐브맵 6면을 별도로 생성해 경계를 맞추고 보정하는 복잡한 과정을 줄일 수 있습니다. 단일 이미지로 작업함으로써 후처리 과정이 간단해지고, 전체 환경의 품질 유지가 쉬워집니다.

고려해야 할 단점 및 주의점

1. 모델 학습과 데이터셋의 이슈
   대부분의 diffusion 모델은 평면 이미지, 특히 정면 이미지 생성에 최적화되어 있습니다. 파노라마 이미지는 일반 이미지와 달리 극단적인 왜곡이 발생할 수 있기 때문에, 모델이 이를 생성하는 데 익숙하지 않을 수 있습니다. 이를 극복하기 위해 프롬프트 설계나 outpainting 기법을 활용하는 등의 조정이 필요할 수 있습니다.
2. 해상도와 디테일 유지 문제
   360° 전체를 커버하는 단일 이미지로 작업하면 한 영역 당 해상도가 낮아질 위험이 있습니다. 언리얼 엔진에서 클로즈업할 경우 디테일이 떨어질 수 있으므로, 최종 사용될 해상도에 맞춰 충분히 높은 해상도로 생성하는 것이 중요합니다.
3. 후처리 및 보정 필요성
   생성된 파노라마 이미지에서는 극지방의 왜곡이나 부자연스러운 부분이 발생할 수 있으므로, 추가적인 포토샵 보정이나 전문 후처리 과정이 필요할 수 있습니다.

제 의견 및 최종 추천

저는 위의 모든 고민을 바탕으로 파노라마 이미지를 한 번에 생성하고, 이를 언리얼 엔진의 스카이박스나 구면 매핑에 활용하는 방법이 현재 가장 실용적이고 안정적인 방법이라고 생각합니다.

• 동일한 seed 값을 사용해도 발생하는 미세한 불일치를 걱정할 필요가 없고, 전체 이미지가 하나로 생성되기 때문에 통일된 시각적 환경을 얻을 수 있습니다.
• 언리얼 엔진과 같은 3D 엔진에서는 이미 검증된 equirectangular 텍스처 매핑 방식을 지원하므로, 추가적인 복잡한 작업 없이도 바로 적용할 수 있습니다.

제 경험에 따르면, 프롬프트를 세심하게 구성하고 모델을 파노라마 이미지 생성에 맞게 튜닝하는 것이 중요하며, 후처리 단계에서 발생하는 왜곡 문제를 잘 보정한다면 더욱 만족스러운 결과를 얻을 수 있습니다. 따라서 저는 6면 개별 생성 방식보다 파노라마 이미지를 활용하는 방식이 최종적으로 언리얼 엔진에 적용할 때 더 자연스럽고 일관된 360° 환경을 구현하는 데 도움이 된다고 확신합니다.

---

이 글이 360° 스카이박스 구현에 관심이 있는 분들께 실질적인 도움이 되었기를 바랍니다. 제 경험과 의견이 여러분의 프로젝트에 좋은 참고자료가 되길 바랍니다.