๐Ÿ”Œ API ๊ธฐ๋ฐ˜ ํ…์ŠคํŠธ โ†’ ์ž… ๋ชจ์–‘ (Lip Sync) ์„œ๋น„์Šค/ํ”„๋กœ์ ํŠธ

โœ… 1. Replica Studios API

  • ํŠน์ง•: TTS + ์ž๋™ ๋ฆฌํ•‘ + ํ‘œ์ • ์• ๋‹ˆ๋ฉ”์ด์…˜์„ API๋กœ ์ œ๊ณต
  • ์ž…๋ ฅ: ํ…์ŠคํŠธ (์Œ์„ฑ ์ž๋™ ์ƒ์„ฑ)
  • ์ถœ๋ ฅ: ์ž… ๋ชจ์–‘ ์• ๋‹ˆ๋ฉ”์ด์…˜ ๋ฐ์ดํ„ฐ (Unity/Unreal์šฉ .anim, .json ๋“ฑ)
  • ์ ํ•ฉ ์šฉ๋„: ์‹ค์‹œ๊ฐ„ ์บ๋ฆญํ„ฐ ๋Œ€์‚ฌ, VTuber, ๊ฒŒ์ž„ NPC
  • API Docs: https://replicastudios.docs.apiary.io/
  • URL: https://replicastudios.com/

โœ… 2. Didimo API

  • ํŠน์ง•: ์บ๋ฆญํ„ฐ ์ƒ์„ฑ + ์Œ์„ฑ ํ•ฉ์„ฑ + ์ž… ๋ชจ์–‘ ํฌํ•จ๋œ ์• ๋‹ˆ๋ฉ”์ด์…˜ API
  • ์ž…๋ ฅ: ํ…์ŠคํŠธ, ์Œ์„ฑ, ์‚ฌ์ง„
  • ์ถœ๋ ฅ: glTF, FBX, Unity ํŒจํ‚ค์ง€ ๋“ฑ
  • ๊ฐ•์ : REST API ๊ธฐ๋ฐ˜, ์ƒ์—…์  ์ด์šฉ ๊ฐ€๋Šฅ
  • API Docs: https://dev.didimo.co/

โœ… 3. Altered Studio API

  • ํŠน์ง•: AI ์Œ์„ฑ๋ณ€์กฐ + ๋ฆฌํ•‘ ํฌํ•จ๋œ ์บ๋ฆญํ„ฐ ๋ณด์ด์Šค API
  • ์ž…๋ ฅ: ํ…์ŠคํŠธ
  • ์ถœ๋ ฅ: ์˜ค๋””์˜ค + ์ž… ๋ชจ์–‘ JSON
  • API Docs: ์‚ฌ์ „ ์‹ ์ฒญ ํ•„์š”
  • ํŠน์ด์‚ฌํ•ญ: ๋ฆฌ์–ผํƒ€์ž„ ํ™œ์šฉ ์‚ฌ๋ก€ ์žˆ์Œ

โœ… 4. Speech Graphics API (SGX)

  • ํŠน์ง•: AAA๊ธ‰ ๊ฒŒ์ž„ ์ˆ˜์ค€์˜ ๊ณ ์ •๋ฐ€ ์ž…๋ชจ์–‘ ์ƒ์„ฑ API (Unity/UE ํ˜ธํ™˜)
  • ์ž…๋ ฅ: ํ…์ŠคํŠธ ๋˜๋Š” ์Œ์„ฑ
  • ์ถœ๋ ฅ: ์ž… ๋ชจ์–‘ ์• ๋‹ˆ๋ฉ”์ด์…˜ (.json, .fbx)
  • ํŠน์ง•: viseme๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ์–ผ๊ตด ์ „์ฒด ํ‘œ์ • ํฌํ•จ
  • ์ƒ์šฉ ๋ผ์ด์„ ์Šค
  • URL: https://speech-graphics.com/

โœ… 5. Papercup API

  • ํŠน์ง•: ์˜์ƒ ๋”๋น™ + ์ž๋™ ์ž… ๋ชจ์–‘ ๋ณด์ • (์Œ์„ฑ ์ธ์‹ ๊ธฐ๋ฐ˜)
  • ์ž…๋ ฅ: ์˜์ƒ, ํ…์ŠคํŠธ
  • ์ถœ๋ ฅ: ์ž… ๋ชจ์–‘์ด ๋งž์ถฐ์ง„ ์˜์ƒ
  • ๊ฐ•์ : ๋ฐฉ์†ก/์œ ํŠœ๋ธŒ ์ฝ˜ํ…์ธ ์— ์ ํ•ฉ
  • API ์ œ๊ณต ์—ฌ๋ถ€: B2B ํ˜‘์˜

โœจ ๋ณด๋„ˆ์Šค: ์˜คํ”ˆ์†Œ์Šค API๋กœ ์ปค์Šคํ…€ ๊ฐ€๋Šฅ

โ–ถ TTS API + Rhubarb CLI ์„œ๋ฒ„ ๊ตฌ์„ฑ

  • Google TTS API (ํ…์ŠคํŠธ โ†’ ์˜ค๋””์˜ค)
  • Rhubarb lip-sync (์˜ค๋””์˜ค โ†’ ์ž… ๋ชจ์–‘ JSON)
  • FastAPI ๋“ฑ์œผ๋กœ ๊ฐ์‹ธ๋ฉด ์ปค์Šคํ…€ API ๊ตฌ์„ฑ ๊ฐ€๋Šฅ

๐Ÿ“‹ ๋น„๊ต ์š”์•ฝ

ํ”Œ๋žซํผํ…์ŠคํŠธ ์ž…๋ ฅ์˜ค๋””์˜ค ์ƒ์„ฑ๋ฆฌํ•‘ ์ถœ๋ ฅAPI ์ œ๊ณต๋น„๊ณ 
Replica Studiosโœ…โœ…โœ… (FBX/JSON)โœ…๋ฌด๋ฃŒ ์ฒดํ—˜ ์žˆ์Œ
Didimoโœ…โœ…โœ…โœ…์บ๋ฆญํ„ฐ ์ƒ์„ฑ ํฌํ•จ
Altered Studioโœ…โœ…โœ…โœ…์Œ์„ฑ ์Šคํƒ€์ผ ๋ณ€๊ฒฝ๋„ ์ง€์›
Speech Graphicsโœ…โœ…โœ…โœ…์ตœ๊ณ ๊ธ‰ ํ’ˆ์งˆ (์œ ๋ฃŒ)
Papercupโœ…โœ…โœ…์ œํ•œ์ ์˜์ƒ ๋”๋น™ ์ค‘์‹ฌ

๐Ÿ”ง ์ถ”์ฒœ ์กฐํ•ฉ (์‹ค์šฉ๋„ ๊ธฐ์ค€)

  • ๋น ๋ฅธ API ํ†ตํ•ฉ: Replica Studios ๋˜๋Š” Didimo
  • ๊ณ ๊ธ‰ ์ปค์Šคํ„ฐ๋งˆ์ด์ง•: Speech Graphics
  • ๋น„์šฉ ์ ๊ณ  ์ง์ ‘ ์ œ์–ด: Google TTS + Rhubarb + FastAPI (์ง์ ‘ ๊ตฌ์ถ•)

์ฝ”๋ฉ˜ํŠธ

๋‹ต๊ธ€ ๋‚จ๊ธฐ๊ธฐ

์ด๋ฉ”์ผ ์ฃผ์†Œ๋Š” ๊ณต๊ฐœ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ํ•„์ˆ˜ ํ•„๋“œ๋Š” *๋กœ ํ‘œ์‹œ๋ฉ๋‹ˆ๋‹ค