概要
顔画像からキャラクターパラメータを推定するFace-to-Character PoCを実装しました。論文の微分不可能なゲームレンダラーを直接接続する代わりに、GANを微分可能なproxyとして利用し、パラメータ最適化を実験しました。
変換例
オリジナル
ゲームキャラクター
アニメーション
主要成果
- データ準備、GAN構造の実装・学習、定性的な結果評価を実施
- GAN、VAE、autoencoderを比較し、当時もっとも高い視覚品質を示したGANを選択
- ゲームエンジンとの連携は未完了であり、成果はPoCの範囲に限定
技術スタック
- Framework: PyTorch
- Vision: Face Detection, Landmark Extraction
- Engine: Unreal Engine