안동민 개발노트

이전 절에서 우리는 언리얼 엔진의 강력한 AI 시스템, 특히 행동 트리에 대해 깊이 있게 다루었습니다. 이제 게임 개발의 최전선에 있는 두 가지 고급 기술인 머신러닝(Machine Learning, ML) 과 실시간 렌더링(Real-time Rendering) 의 최신 동향 및 언리얼 엔진에서의 활용 방안에 대해 알아보겠습니다. 이 두 분야는 게임의 지능과 시각적 품질을 혁신적으로 발전시키며, 플레이어에게 전례 없는 경험을 제공할 잠재력을 가지고 있습니다.

게임 개발과 머신러닝

머신러닝은 데이터로부터 학습하고 패턴을 인식하여 예측 또는 의사 결정을 수행하는 기술입니다. 게임 개발에서는 단순히 NPC의 행동을 제어하는 것을 넘어, 콘텐츠 생성, 테스팅, 최적화 등 다양한 분야에서 혁신적인 가능성을 제시합니다.

게임 AI (강화 학습)

강화 학습(Reinforcement Learning, RL): AI 에이전트가 특정 환경에서 시행착오를 통해 최적의 행동 정책을 학습하는 머신러닝 분야입니다. 게임에서는 NPC가 복잡한 전략을 스스로 학습하거나, 플레이어의 행동에 더욱 자연스럽게 반응하도록 훈련시키는 데 사용됩니다.
- 언리얼 엔진의 RL 플러그인: 언리얼 엔진은 Reinforcement Learning 플러그인(UE4/UE5 일부 버전)을 통해 OpenAI Gym과 같은 RL 환경과의 연동을 지원하며, 파이썬 기반의 머신러닝 프레임워크(TensorFlow, PyTorch)를 사용하여 에이전트를 훈련시킬 수 있습니다.
- 활용 예시
  - 적 AI 행동: 플레이어의 패턴을 학습하여 더욱 도전적인 적을 만듭니다.
  - NPC 대화/반응: 플레이어의 선택에 따라 유동적으로 변하는 대화 시스템을 구축합니다.
  - 자율 주행/비행: 게임 내 탈것의 자율 주행 능력을 학습시킵니다.
행동 트리의 한계 보완: 행동 트리가 규칙 기반으로 명확한 행동을 정의하는 데 뛰어나다면, 강화 학습은 예측 불가능하고 유동적인 상황에 대한 AI의 적응력을 높일 수 있습니다. 두 기술을 조합하여 AI를 설계하는 하이브리드 접근 방식도 많이 사용됩니다.

Procedural Content Generation, PCG

GAN (Generative Adversarial Networks): 새로운 이미지, 텍스처, 3D 모델 등을 생성하는 데 사용될 수 있습니다. (예: 스타일 전이, 텍스처 생성, 환경 에셋 변형)
PCG 프레임워크: 언리얼 엔진 5.2부터 정식 도입된 PCG 프레임워크는 프로시저럴 콘텐츠 생성을 위한 강력한 시각적 도구를 제공합니다. 여기에 ML 모델을 결합하여 더욱 다양하고 자연스러운 콘텐츠를 자동으로 생성할 수 있습니다.
- 활용 예시
  - 지형, 식생, 오브젝트의 자동 배치 및 변형.
  - 건물, 던전 등의 구조 자동 생성.
  - NPC 얼굴, 의상 등 캐릭터 요소의 무작위 생성.

게임 테스팅 및 최적화

자동화된 QA: ML 에이전트가 게임을 자동으로 플레이하며 버그를 탐지하거나, 특정 시나리오를 반복적으로 테스트하여 안정성을 검증할 수 있습니다.
성능 최적화: ML 모델을 사용하여 게임 내 병목 현상을 예측하거나, 실시간으로 그래픽 설정을 조절하여 최적의 성능을 끌어내는 동적 스케일링 시스템을 구현할 수 있습니다.
밸런싱: ML이 게임 데이터를 분석하여 게임 밸런스 문제를 식별하고, 최적의 밸런스 값을 제안할 수 있습니다.

언리얼 엔진과 ML 통합

Python 스크립팅: 언리얼 엔진은 Python 스크립팅을 지원하여 PyTorch, TensorFlow 등 파이썬 기반의 ML 라이브러리와 쉽게 연동할 수 있습니다.
ONNX (Open Neural Network Exchange): 훈련된 ML 모델을 ONNX 형식으로 변환하여 언리얼 엔진에서 런타임에 추론(inference)을 수행할 수 있습니다.
NNI (Neural Network Inference) 플러그인: 언리얼 엔진은 NNI 플러그인을 통해 런타임에 ML 모델을 로드하고 실행하는 기능을 제공합니다.

실시간 렌더링의 최신 기술 (UE5 중심)

언리얼 엔진 5는 차세대 게임의 비주얼을 혁신하는 데 초점을 맞춘 두 가지 핵심 렌더링 기술인 나나이트(Nanite) 와 루멘(Lumen) 을 도입했습니다.

나나이트 (Nanite)

가상화된 지오메트리(Virtualized Geometry): 나나이트는 무한에 가까운 폴리곤 디테일을 실시간으로 렌더링할 수 있게 해주는 가상화된 지오메트리 시스템입니다.
- 핵심 개념
  - 마이크로폴리곤(Micropolygons): 메시를 매우 작은 삼각형 클러스터로 분할합니다.
  - 온디맨드 스트리밍: 카메라에 가까운 영역에 필요한 디테일만 실시간으로 로드하고 스트리밍합니다.
  - 자동 LOD: 수동 LOD 설정 없이도 완벽한 비주얼 충실도를 유지하면서 성능을 최적화합니다.
  - 클러스터 컬링: 화면에 보이지 않거나 너무 작게 보이는 마이크로폴리곤 클러스터는 렌더링에서 자동으로 제외됩니다.
이점
- 아티스트 자유도: 아티스트가 폴리곤 예산에 대한 걱정 없이 영화 품질의 에셋을 직접 게임에 사용할 수 있게 합니다. (예: 스캔 데이터, CAD 데이터)
- 시각적 품질 향상: 극도로 높은 디테일의 환경과 오브젝트를 실시간으로 구현하여 비주얼의 현실감을 극대화합니다.
- 성능 최적화: 전통적인 LOD 시스템의 한계를 극복하고, 수동 최적화 부담을 줄입니다.
활용 예시
- 오픈 월드 게임의 지형, 건축물, 바위 등 환경 에셋.
- 고품질의 캐릭터, 무기, 차량 모델.
제한 사항: 현재 스켈레탈 메시, 투명 머티리얼, 커스텀 버텍스 셰이더 등 일부 기능에서는 나나이트가 제한적으로 지원되거나 지원되지 않을 수 있습니다.

루멘 (Lumen)

완전 동적인 전역 조명 및 반사(Fully Dynamic Global Illumination and Reflections): 루멘은 언리얼 엔진 5의 실시간 전역 조명(Global Illumination, GI) 및 리플렉션 시스템입니다.
- 핵심 개념
  - 소프트웨어 레이 트레이싱: GPU의 레이 트레이싱 하드웨어에 의존하지 않고, 소프트웨어 기반으로 씬을 추적하여 GI 및 반사를 계산합니다. (하드웨어 레이 트레이싱과 공존 가능)
  - 실시간 반응: 씬 내의 빛이나 오브젝트가 이동하거나 변화해도 전역 조명과 반사가 실시간으로 업데이트됩니다. (예: 손전등 빛, 문 열림에 따른 빛 변화)
  - 다양한 광원 지원: 디렉셔널 라이트, 포인트 라이트, 스포트 라이트, 스카이 라이트 등 모든 광원 타입에 대해 GI 및 반사를 계산합니다.
- 이점
  - 극대화된 현실감: 빛이 환경에 자연스럽게 반사되고 확산되어 실제와 같은 조명 효과를 구현합니다.
  - 아티스트 워크플로우 개선: 라이트맵 베이킹(Baking)이나 수동 GI 설정의 필요성을 줄여 아티스트가 조명 설계에 더 집중할 수 있게 합니다.
  - 동적인 환경: 실시간으로 변화하는 씬에서도 일관된 조명 품질을 유지합니다.
활용 예시
- 낮/밤 사이클, 날씨 변화에 따른 조명 변화.
- 파괴 가능한 환경, 이동하는 오브젝트에 의한 그림자 및 GI 변화.
- 실내/실외 환경의 부드러운 전환.
성능 고려 사항: 높은 품질의 루멘은 여전히 상당한 GPU 자원을 요구하므로, 타겟 플랫폼의 성능에 맞춰 품질 설정을 조정해야 합니다.

Virtual Texturing / Streamline

거대한 텍스처 관리: 나나이트와 함께 사용되는 기술로, 매우 큰 텍스처(기가텍셀 규모)를 효율적으로 스트리밍하고 관리하여 텍스처 메모리 사용량을 최적화합니다.
- 필요한 부분만 메모리에 로드하여 GPU 메모리 부담을 줄입니다.

게임 개발의 미래와 융합

머신러닝과 최신 실시간 렌더링 기술은 서로 보완하며 게임 개발의 새로운 지평을 열고 있습니다.

ML 기반 아트 파이프라인: ML을 사용하여 에셋을 자동 생성하거나, 저해상도 에셋을 고해상도로 업스케일링하여 나나이트가 처리할 수 있는 높은 품질의 데이터를 제공할 수 있습니다.
ML 기반 렌더링 최적화: ML 모델이 게임의 현재 상태를 분석하여 루멘의 품질 설정이나 렌더링 해상도를 동적으로 조절함으로써, 최적의 성능과 시각적 품질 균형을 실시간으로 유지할 수 있습니다.
현실적인 NPC 행동과 환경: ML 기반 AI가 나나이트와 루멘으로 구현된 극도로 사실적인 환경에서 상호작용하여 플레이어에게 더욱 몰입감 있는 경험을 제공합니다.

머신러닝과 언리얼 엔진 5의 나나이트, 루멘과 같은 최신 실시간 렌더링 기술은 게임 개발의 한계를 끊임없이 확장하고 있습니다. 머신러닝은 게임 AI의 지능을 혁신하고 콘텐츠 생성 및 개발 프로세스를 자동화하며, 나나이트와 루멘은 전례 없는 수준의 시각적 충실도와 동적인 환경을 실시간으로 구현할 수 있게 합니다. 이러한 고급 기술들을 이해하고 자신의 프로젝트에 효과적으로 통합하는 것은 미래의 게임 개발자에게 필수적인 역량이 될 것입니다.

머신러닝 및 실시간 렌더링