🔈 텍스트 → 입 모양(Viseme) 생성 프로젝트 정리

✅ 1. Papagayo

• 설명: 간단한 오픈소스 리핑 도구. 텍스트 기반으로 캐릭터 입 모양을 프레임 단위로 지정해줌
• 형태: 데스크탑 소프트웨어 (Python 기반)
• 출력: 입 모양 타이밍을 XML/JSON 형식으로 추출 가능
• 적용 대상: Blender, Moho, 2D/3D 캐릭터
• GitHub: https://github.com/morevnaproject-org/papagayo-ng

---

✅ 2. Rhubarb Lip Sync

• 설명: 오디오 또는 텍스트로부터 자동 입 모양(리핑) 타이밍을 추출하는 CLI 툴
• 장점: 매우 가볍고 빠름, 다양한 캐릭터 애니메이션 툴과 연동 가능
• 입력: 오디오 파일 (.wav) 또는 텍스트
• 출력: JSON, XML, Papagayo 형식 등
• GitHub: https://github.com/DanielSWolf/rhubarb-lip-sync

---

✅ 3. TALKNET (by NVIDIA)

• 설명: TTS + LipSync 모델이 통합된 AI 기반 프로젝트. 음성 생성과 동시에 리핑 시퀀스를 생성
• 기술: Tacotron2 + Viseme prediction
• 용도: AI 캐릭터, Virtual YouTuber, 게임 캐릭터 리핑 등
• 출력: 음성 + 음성에 대응하는 viseme 시퀀스
• Demo: https://huggingface.co/spaces/fffiloni/TalkNet-Lipsync

---

✅ 4. FaceFX (상용)

• 설명: AAA 게임에서 많이 쓰는 리핑 솔루션. 텍스트 → viseme로 음성 자동 생성 가능
• 지원: Unreal Engine, Unity, Maya 등과 연동
• 특징: 페이셜 애니메이션 자동 생성

---

✅ 5. OpenTTS + eLipSync

• 조합형 프로젝트: 텍스트 → 음성(TTS) → 입 모양
• 사용 예:
  1. 텍스트 입력
  2. TTS 엔진으로 음성 생성 (e.g. Coqui TTS, Google TTS)
  3. Rhubarb 등으로 리핑 타이밍 추출

---

🎯 적용 예시 워크플로우

mermaidCopyEditgraph TD
A[입력 텍스트] --> B[TTS 또는 미리 녹음된 음성]
B --> C[Viseme 추출 (Rhubarb, Papagayo 등)]
C --> D[입 모양 프레임 정보]
D --> E[애니메이션 캐릭터에 적용 (Unreal, Blender, Unity 등)]

---

📦 정리 요약

이름	텍스트 입력	음성 입력	입 모양 출력	라이선스
Papagayo	✅	❌	✅ (XML, JSON)	오픈소스
Rhubarb	✅	✅	✅ (JSON 등)	오픈소스
TalkNet	✅	✅	✅ (Viseme, 음성)	오픈소스
FaceFX	✅	✅	✅	상용
eLipSync	조합형	✅	✅	커스텀

---

🛠 추천 조합 (개발자용)

• 빠른 결과: TalkNet or Rhubarb + Google TTS
• 게임엔진 연동: Rhubarb + Blender/UE
• 고퀄리티 리얼타임: TTS + ARKit FaceBlendShapes + MetaHuman