개요
사용자의 얼굴 이미지에서 캐릭터 파라미터를 추정하는 Face-to-Character PoC를 구현했습니다. 원 논문의 미분 불가능한 게임 렌더링 단계를 직접 연결하는 대신, GAN을 미분 가능한 proxy로 사용해 파라미터 최적화를 실험했습니다.
변환 예시
원본
게임 캐릭터
애니메이션
주요 성과
- 데이터 준비, GAN 구조 구현·학습, 정성적 결과 평가 수행
- GAN, VAE, autoencoder 접근을 비교해 당시 GAN의 시각 품질을 선택
- 게임 엔진 연동은 완료하지 않았으며, 결과는 PoC 범위로 한정
기술 스택
- Framework: PyTorch
- Vision: Face Detection, Landmark Extraction
- Engine: Unreal Engine