머신러닝 및 실시간 렌더링

이전 절에서는 언리얼 엔진 AI 시스템, 특히 행동 트리를 깊게 다뤘습니다.

이번에는 게임 개발의 최전선 주제인 머신러닝(Machine Learning, ML)과 실시간 렌더링(Real-time Rendering)의 최신 동향, 그리고 언리얼 엔진 활용 방안을 살펴봅니다.

두 분야는 게임 지능과 시각 품질을 크게 끌어올릴 잠재력을 가지고 있습니다.

Machine Learning
offline → runtime 01 문제·기준선 02 데이터·학습 03 모델 검증 04 런타임 추론 증명 품질 + 추론 비용 결정론적 로직보다 나은 결과와 장치별 지연을 함께 비교합니다.
문제·기준선
데이터·학습
모델 검증
런타임 추론
Nanite · Lumen
content → frame 01 콘텐츠·조명 02 기능 설정 03 패스 측정 04 플랫폼 품질 증명 화질 + GPU 비용 대표 장면의 프레임 시간·메모리와 시각적 이득을 함께 비교합니다.
콘텐츠·조명
기능 설정
패스 측정
플랫폼 품질

게임 개발과 머신러닝

이 다이어그램은 머신러닝 도입 판단, Nanite/Lumen 예산, 실시간 렌더링 품질과 폴백 기준을 함께 정리합니다.

판단 축	도입 전 질문	통과 기준
문제 정의	Behavior Tree, EQS, 규칙 기반으로도 충분한가	부족한 판단이 한 문장으로 드러난다
데이터	리플레이와 로그가 실제 상황을 대표하는가	학습/입력 데이터 편향을 설명할 수 있다
추론 비용	Game Thread, Async, Server 중 어디서 돌리는가	플랫폼별 프레임 예산 안에 들어온다
플레이 경험	정확도보다 재미와 공정성이 개선되는가	플레이어가 체감하는 이득이 있다

머신러닝은 데이터로부터 학습하고 패턴을 인식하여 예측 또는 의사 결정을 수행하는 기술입니다.

게임 개발에서는 NPC 행동 제어뿐 아니라 콘텐츠 생성, 테스팅, 최적화 같은 분야에도 적용할 수 있습니다.

게임 AI (강화 학습)

강화 학습(Reinforcement Learning, RL): AI 에이전트가 특정 환경에서 시행착오를 통해 최적의 행동 정책을 학습하는 머신러닝 분야입니다. 게임에서는 NPC가 복잡한 전략을 스스로 학습하거나, 플레이어의 행동에 더욱 자연스럽게 반응하도록 훈련시키는 데 사용됩니다.
- 언리얼 엔진의 RL 플러그인: 언리얼 엔진은 Reinforcement Learning 플러그인(UE4/UE5 일부 버전)을 통해 OpenAI Gym과 같은 RL 환경과의 연동을 지원하며, 파이썬 기반의 머신러닝 프레임워크(TensorFlow, PyTorch)를 사용하여 에이전트를 훈련시킬 수 있습니다.
- 활용 예시
  - 적 AI 행동: 플레이어의 패턴을 학습하여 더욱 도전적인 적을 만듭니다.
  - NPC 대화/반응: 플레이어의 선택에 따라 유동적으로 변하는 대화 시스템을 구축합니다.
  - 자율 주행/비행: 게임 내 탈것의 자율 주행 능력을 학습시킵니다.
행동 트리의 한계 보완: 행동 트리가 규칙 기반으로 명확한 행동을 정의하는 데 뛰어나다면, 강화 학습은 예측 불가능하고 유동적인 상황에 대한 AI의 적응력을 높일 수 있습니다. 두 기술을 조합하여 AI를 설계하는 하이브리드 접근 방식도 많이 사용됩니다.

Procedural Content Generation, PCG

GAN (Generative Adversarial Networks): 새로운 이미지, 텍스처, 3D 모델 등을 생성하는 데 사용될 수 있습니다. (예: 스타일 전이, 텍스처 생성, 환경 에셋 변형)
PCG 프레임워크: 언리얼 엔진 5.2부터 정식 도입된 PCG 프레임워크는 프로시저럴 콘텐츠 생성을 위한 강력한 시각적 도구를 제공합니다. 여기에 ML 모델을 결합하여 더욱 다양하고 자연스러운 콘텐츠를 자동으로 생성할 수 있습니다.
- 활용 예시
  - 지형, 식생, 오브젝트의 자동 배치 및 변형.
  - 건물, 던전 등의 구조 자동 생성.
  - NPC 얼굴, 의상 등 캐릭터 요소의 무작위 생성.

게임 테스팅 및 최적화

자동화된 QA: ML 에이전트가 게임을 자동으로 플레이하며 버그를 탐지하거나, 특정 시나리오를 반복적으로 테스트하여 안정성을 검증할 수 있습니다.
성능 최적화: ML 모델을 사용하여 게임 내 병목 현상을 예측하거나, 실시간으로 그래픽 설정을 조절하여 최적의 성능을 끌어내는 동적 스케일링 시스템을 구현할 수 있습니다.
밸런싱: ML이 게임 데이터를 분석하여 게임 밸런스 문제를 식별하고, 최적의 밸런스 값을 제안할 수 있습니다.

언리얼 엔진과 ML 통합

Python 스크립팅: 언리얼 엔진은 Python 스크립팅을 지원하여 PyTorch, TensorFlow 등 파이썬 기반의 ML 라이브러리와 쉽게 연동할 수 있습니다.
ONNX (Open Neural Network Exchange): 훈련된 ML 모델을 ONNX 형식으로 변환하여 언리얼 엔진에서 런타임에 추론(inference)을 수행할 수 있습니다.
NNI (Neural Network Inference) 플러그인: 언리얼 엔진은 NNI 플러그인을 통해 런타임에 ML 모델을 로드하고 실행하는 기능을 제공합니다.

실시간 렌더링의 최신 기술 (UE5 중심)

언리얼 엔진 5는 대규모 지오메트리와 동적 전역 조명을 다루기 위한 두 가지 핵심 렌더링 기술인 나나이트(Nanite)와 루멘(Lumen)을 도입했습니다.

나나이트 (Nanite)

가상화된 지오메트리(Virtualized Geometry): 나나이트는 무한에 가까운 폴리곤 디테일을 실시간으로 렌더링할 수 있게 해주는 가상화된 지오메트리 시스템입니다.
- 핵심 개념
  - 마이크로폴리곤(Micropolygons): 메시를 매우 작은 삼각형 클러스터로 분할합니다.
  - 온디맨드 스트리밍: 카메라에 가까운 영역에 필요한 디테일만 실시간으로 로드하고 스트리밍합니다.
  - 자동 LOD: 수동 LOD 설정 없이도 완벽한 비주얼 충실도를 유지하면서 성능을 최적화합니다.
  - 클러스터 컬링: 화면에 보이지 않거나 너무 작게 보이는 마이크로폴리곤 클러스터는 렌더링에서 자동으로 제외됩니다.
이점
- 아티스트 자유도: 아티스트가 폴리곤 예산에 대한 걱정 없이 영화 품질의 에셋을 직접 게임에 사용할 수 있게 합니다. (예: 스캔 데이터, CAD 데이터)
- 시각적 품질 향상: 극도로 높은 디테일의 환경과 오브젝트를 실시간으로 구현하여 비주얼의 현실감을 극대화합니다.
- 성능 최적화: 전통적인 LOD 시스템의 한계를 극복하고, 수동 최적화 부담을 줄입니다.
활용 예시
- 오픈 월드 게임의 지형, 건축물, 바위 등 환경 에셋.
- 고품질의 캐릭터, 무기, 차량 모델.
제한 사항: 현재 스켈레탈 메시, 투명 머티리얼, 커스텀 버텍스 셰이더 등 일부 기능에서는 나나이트가 제한적으로 지원되거나 지원되지 않을 수 있습니다.

루멘 (Lumen)

완전 동적인 전역 조명 및 반사(Fully Dynamic Global Illumination and Reflections): 루멘은 언리얼 엔진 5의 실시간 전역 조명(Global Illumination, GI) 및 리플렉션 시스템입니다.
- 핵심 개념
  - 소프트웨어 레이 트레이싱: GPU의 레이 트레이싱 하드웨어에 의존하지 않고, 소프트웨어 기반으로 씬을 추적하여 GI 및 반사를 계산합니다. (하드웨어 레이 트레이싱과 공존 가능)
  - 실시간 반응: 씬 내의 빛이나 오브젝트가 이동하거나 변화해도 전역 조명과 반사가 실시간으로 업데이트됩니다. (예: 손전등 빛, 문 열림에 따른 빛 변화)
  - 다양한 광원 지원: 디렉셔널 라이트, 포인트 라이트, 스포트 라이트, 스카이 라이트 등 모든 광원 타입에 대해 GI 및 반사를 계산합니다.
- 이점
  - 극대화된 현실감: 빛이 환경에 자연스럽게 반사되고 확산되어 실제와 같은 조명 효과를 구현합니다.
  - 아티스트 워크플로우 개선: 라이트맵 베이킹(Baking)이나 수동 GI 설정의 필요성을 줄여 아티스트가 조명 설계에 더 집중할 수 있게 합니다.
  - 동적인 환경: 실시간으로 변화하는 씬에서도 일관된 조명 품질을 유지합니다.
활용 예시
- 낮/밤 사이클, 날씨 변화에 따른 조명 변화.
- 파괴 가능한 환경, 이동하는 오브젝트에 의한 그림자 및 GI 변화.
- 실내/실외 환경의 부드러운 전환.
성능 고려 사항: 높은 품질의 루멘은 여전히 상당한 GPU 자원을 요구하므로, 타겟 플랫폼의 성능에 맞춰 품질 설정을 조정해야 합니다.

Virtual Texturing / Streamline

거대한 텍스처 관리: 나나이트와 함께 사용되는 기술로, 매우 큰 텍스처(기가텍셀 규모)를 효율적으로 스트리밍하고 관리하여 텍스처 메모리 사용량을 최적화합니다.
- 필요한 부분만 메모리에 로드하여 GPU 메모리 부담을 줄입니다.

게임 개발의 미래와 융합

머신러닝과 최신 실시간 렌더링 기술은 서로 보완하며 게임 개발의 새로운 지평을 열고 있습니다.

ML
기술 조합을 결정 항목으로 바꾸기
ML + UE5 rendering ML 적 AI, 탈것, 반복 플레이 에이전트를 훈련해 규칙 기반 행동의 빈틈을 줄인다. UE5 동적 조명과 반사로 AI가 바꾸는 환경 상태를 즉시 시각화한다. 런타임 추론 을 넣을지, 사전 학습 결과를 규칙에 옮길지 프레임 예산으로 가른다. ML 지형, 식생, 텍스처 변형 후보를 만들고 디자이너가 규칙과 품질 기준을 조정한다. UE5 고밀도 메시와 큰 텍스처를 스트리밍하되 에셋 규격과 메모리 상한을 정한다. 생성량 보다 검수 가능한 에셋 단위, 텍스처 풀, 빌드 시간을 먼저 제한한다. ML 자동 플레이, 병목 예측, 밸런스 분석으로 반복 테스트 범위를 넓힌다. UE5 장면별 지오메트리, 조명, 텍스처 비용을 함께 기록해 회귀를 추적한다. 품질 목표 와 성능 목표를 한 프로파일링 표에 묶어 릴리스 기준으로 사용한다.
ML
강화학습
ML 적 AI, 탈것, 반복 플레이 에이전트를 훈련해 규칙 기반 행동의 빈틈을 줄인다.
UE5
Lumen
UE5 동적 조명과 반사로 AI가 바꾸는 환경 상태를 즉시 시각화한다.
ML
PCG 점검
ML 지형, 식생, 텍스처 변형 후보를 만들고 디자이너가 규칙과 품질 기준을 조정한다.
UE5
Nanite + VT
UE5 고밀도 메시와 큰 텍스처를 스트리밍하되 에셋 규격과 메모리 상한을 정한다.
ML
QA/최적화
ML 자동 플레이, 병목 예측, 밸런스 분석으로 반복 테스트 범위를 넓힌다.
UE5
Nanite/Lumen/VT
UE5 장면별 지오메트리, 조명, 텍스처 비용을 함께 기록해 회귀를 추적한다.

ML 기반 아트 파이프라인: ML을 사용하여 에셋을 자동 생성하거나, 저해상도 에셋을 고해상도로 업스케일링하여 나나이트가 처리할 수 있는 높은 품질의 데이터를 제공할 수 있습니다.
ML 기반 렌더링 최적화: ML 모델이 게임의 현재 상태를 분석하여 루멘의 품질 설정이나 렌더링 해상도를 동적으로 조절함으로써, 최적의 성능과 시각적 품질 균형을 실시간으로 유지할 수 있습니다.
현실적인 NPC 행동과 환경: ML 기반 AI가 나나이트와 루멘으로 구현된 극도로 사실적인 환경에서 상호작용하여 플레이어에게 더욱 몰입감 있는 경험을 제공합니다.

아래 다이어그램은 머신러닝, 나나이트, 루멘을 프로젝트에 적용할 때 런타임 비용과 검증 지점을 함께 보는 기준을 정리한 것입니다.

1
학습과 추론 분리
머신러닝 훈련은 외부 환경에서 검증하고, 런타임에는 ONNX나 NNI 플러그인으로 필요한 추론만 수행하는지 확인합니다.
2
지오메트리 병목 축소
나나이트 정적 메시, 고밀도 환경 에셋, 스캔 데이터에는 강하지만 투명 머티리얼과 스켈레탈 메시 제한을 확인합니다.
3
동적 조명 품질을 확보한다
루멘 낮밤 변화, 파괴 환경, 이동 광원처럼 라이트맵으로 처리하기 어려운 장면에서 효과와 비용을 함께 봅니다.
4
타겟 플랫폼에서 먼저 측정한다
성능 확인 데스크톱 최고 설정이 아니라 실제 목표 기기에서 프레임 시간, 텍스처 스트리밍, 전역 조명 품질을 비교합니다.
5
제작자가 반복할 수 있어야 한다
파이프라인 확인 ML 생성 에셋, 고밀도 메시, 동적 조명 설정이 임포트 규칙과 검수 기준으로 이어져야 팀 전체가 안정적으로 사용합니다.

아래 다이어그램은 ML 모델을 훈련해 ONNX 추론으로 들여오고, 나나이트와 루멘 품질을 런타임 지표로 조절하는 운영 흐름입니다.

상태 기록
Telemetry 플레이어 선택, NPC 결과, 프레임 시간, GPU 비용, 씬 복잡도를 학습 가능한 데이터로 모읍니다.
외부 환경에서 학습한다
Training Python 기반 프레임워크로 RL 정책, PCG 추천, 품질 예측 모델을 반복 훈련합니다.
런타임 형식 고정
ONNX 모델은 ONNX로 내보내고 NNI 또는 C++ 래퍼에서 추론합니다.
게임 상태에 적용한다
Runtime AI, PCG, 렌더 품질은 프레임 예산 안에서 반영합니다.
결과를 다시 검증한다
Validation 자동 QA, 성능 캡처, 아트 리뷰를 통해 모델이 재미와 시각 품질을 해치지 않는지 확인합니다.
행동 트리의 빈틈을 보완한다
AI 규칙 기반 노드로 설명하기 어려운 적응 행동은 학습 정책으로 후보를 만들고, 최종 실행은 안전한 Task로 제한합니다.
지오메트리 밀도를 예산화한다
Nanite 씬 복잡도와 카메라 거리를 바탕으로 클러스터 비용을 예측해 오픈 월드 배치와 스트리밍 기준을 조정합니다.
조명 품질을 동적 선택
Lumen 실내외 전환, 날씨, 이동 광원이 많은 장면은 목표 프레임에 맞춰 GI와 반사 품질을 단계적으로 조절합니다.

머신러닝과 언리얼 엔진 5의 나나이트, 루멘과 같은 최신 실시간 렌더링 기술은 게임 개발의 한계를 끊임없이 확장하고 있습니다.

머신러닝, 나나이트, 루멘은 AI, 콘텐츠 생성, 렌더링 품질에 영향을 주는 고급 기술입니다.

적용 전 런타임 비용과 검증 절차를 먼저 정해야 합니다.

구간	확인 내용	위험 신호
Input	카메라, 포즈, 텍스처, 게임 상태 중 필요한 값만 넘긴다	입력이 많아 동기화 비용이 커진다
Inference	프레임 안 실행, 비동기, 서버 추론 중 경로를 정한다	플랫폼별 시간 편차가 크다
Render Hook	Material, Niagara, Post Process와 지연을 맞춘다	결과가 한 프레임 늦거나 튄다
Fallback	모델 실패와 미지원 플랫폼의 기본 표현을 준비한다	모델이 꺼지면 게임이 깨진다

머신러닝과 실시간 렌더링은 목표 플랫폼, 추론 비용, 렌더링 예산, 폴백 경로를 함께 점검해야 합니다.

이 페이지의 목차