Fish Audio S2์์ ์ธ๋ผ์ธ ํ๊ทธ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ
Fish Audio S2๋ ํ ์คํธ ์ด๋ ๊ณณ์๋ ๋๊ดํธ ์์ ๋ฃ๋ ์งง์ ์์ฐ์ด ํ์ธ ์ธ๋ผ์ธ ํ๊ทธ๋ฅผ ์ง์ํ์ฌ ์์ฑ ์ถ๋ ฅ ๋ฐฉ์์ ์ ์ดํ ์ ์๊ฒ ํด์ค๋๋ค. ์ด ๊ฐ์ด๋์์๋ ์ง์๋๋ ํ๊ทธ, ์ฌ์ฉ ๋ฐฉ๋ฒ ๋ฐ ์ต์์ ๊ฒฐ๊ณผ๋ฅผ ์ป๊ธฐ ์ํ ํ์ ๋ค๋ฃน๋๋ค.
๊ธฐ๋ณธ ๊ตฌ๋ฌธ
์ํฅ์ ์ฃผ๊ณ ์ถ์ ๋จ์ด๋ ๊ตฌ์ ๋ฐ๋ก ์์ ๋๊ดํธ๋ก ํ๊ทธ๋ฅผ ๋ฐฐ์นํ์ธ์:
The door was open. [whispering] I didn't want to go inside.
ํ๊ทธ๋ ํ ์คํธ์ ์ด๋ ์์น์๋ ๋ฐฐ์นํ ์ ์์ผ๋ฉฐ, ํ ๋ฒ์ ์์ฑ์์ ์ฌ๋ฌ ํ๊ทธ๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค.
๊ถ์ฅ ํ๊ทธ
S2๋ ์์ ํ์์ ์์ฐ์ด ํ๊ทธ๋ฅผ ์์ฉํ๋ฏ๋ก ๊ณ ์ ๋ ๋ชฉ๋ก์ ์ ํ๋์ง ์์ต๋๋ค. ๊ทธ๋ผ์๋ ๋ถ๊ตฌํ๊ณ , ์๋ ํ๊ทธ๋ค์ ์ถฉ๋ถํ ํ
์คํธ๋์์ผ๋ฉฐ ์ผ๊ด๋๊ฒ ๊ฐ๋ ฅํ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํฉ๋๋ค. ์ด๋ฅผ ์์์ ์ผ๋ก ์ฌ์ฉํ๊ฑฐ๋ ๋ ๊ตฌ์ฒด์ ์ธ ์ ์ด๋ฅผ ์ํด ์์ ๋ง์ ์ค๋ช
(์: [speaking slowly, almost hesitant])์ ์์ฑํด ๋ณด์ธ์.
ํธํก ๋ฐ ์์ฑ ๋ฐ์
| ํ๊ทธ | ์ค๋ช |
|---|---|
[clears throat] | ๋งํ๊ธฐ ์ ๋ชฉ์ ๊ฐ๋ค๋ฌ๋ ์๋ฆฌ |
[inhalation] / [inhale] | ๋ค๋ฆฌ๋ ์จ์ ๋ค์ด๋ง์๋ ์๋ฆฌ |
[exhale] | ๋ค๋ฆฌ๋ ์จ์ ๋ด๋ฑ๋ ์๋ฆฌ |
[sigh] | ํํ๋ ฅ์ด ํ๋ถํ ํ์จ |
[panting] | ๊ฑฐ์น ๊ณ ๋น ๋ฅธ ํธํก |
[breathing] | ์ผ๋ฐ์ ์ธ ํธํก ์๋ฆฌ |
[gasp] | ๋ ์นด๋กญ๊ณ ๊ฐ์์ค๋ฝ๊ฒ ์จ์ ๋ค์ดํด |
์์ฑ ์๋ฆฌ
| ํ๊ทธ | ์ค๋ช |
|---|---|
[groan] | ๋ถํธํจ์ด๋ ์ง์ฆ ์์ธ ๋ฎ์ ์๋ฆฌ |
[moaning] | ๊ณ ํต์ด๋ ๋ถ์พํจ์ ๋ํ๋ด๋ ๊ธธ๊ฒ ๋๋ ์๋ฆฌ |
[sobbing] | ํ๋๋ผ๋ฉฐ ์ฐ๋ ์๋ฆฌ |
[crying] | ๋ชฉ์๋ฆฌ์ ์ค๋ฆฐ ๋๋ฌผ ์์ธ ์๋ฆฌ |
[laughing] | ํฌ๊ฒ ์๋ ์๋ฆฌ |
[chuckling] | ๋ถ๋๋ฝ๊ณ ์กฐ์ฉํ ์์ |
[giggle] | ๊ฐ๋ณ๊ณ ๋์ ํค์ ์์ |
์๋ ์กฐ์
| ํ๊ทธ | ์ค๋ช |
|---|---|
[pause] | ์งง์ ์นจ๋ฌต |
[short pause] | ๋ ์งง์ ๋ฉ์ถค |
[long pause] | ๊ทน์ ์ธ ํจ๊ณผ๋ฅผ ์ํ ๊ธด ์นจ๋ฌต |
๋ชฉ์๋ฆฌ ์คํ์ผ
| ํ๊ทธ | ์ค๋ช |
|---|---|
[whispering] / [whispering voice] | ์์ญ์ด๋ ๋ฏํ ํธํก ์์ธ ์ ๋ฌ |
[soft voice] | ์กฐ์ฉํ๊ณ ๋ถ๋๋ฌ์ |
[low voice] | ๋ ๊น๊ณ ๋ฎ์ ์์ญ๋ |
[loud voice] | ๋์์ง ๋ณผ๋ฅจ |
[shouting] | ํฐ ์๋ฆฌ๋ก ์ธ์นจ |
๊ฐ์
| ํ๊ทธ | ์ค๋ช |
|---|---|
[excited] | ์๋์ง๊ฐ ๋์น๊ณ ๋ฐ์ ํค |
[angry] | ๊ฑฐ์น ๊ณ ๊ฐ์์ ์ธ ํค |
[sad] | ๋ฌด๊ฒ๊ณ ์นจ์ธํ ์ ๋ฌ |
๊ธฐํ
| ํ๊ทธ | ์ค๋ช |
|---|---|
[emphasis] | ์ด์ด์ง๋ ๋จ์ด๋ ๊ตฌ์ ๊ฐ์กฐ |
[rustling sound] | ๋ฐฐ๊ฒฝ์์ ๋ถ์ค๋ญ๊ฑฐ๋ฆฌ๋ ์๋ฆฌ |
๋ฐฐ์น
ํ๊ทธ๋ ํ๊ทธ ์ดํ์ ์ค๋ ๋ด์ฉ์ ์ํฅ์ ์ค๋๋ค. ๋ณํ๊ฐ ์ผ์ด๋๊ธฐ๋ฅผ ์ํ๋ ์์ ๋ฐ๋ก ์์ ํ๊ทธ๋ฅผ ๋ฐฐ์นํ์ธ์.
์ข์ ์ โ ์ ํ ์ง์ ์ ํ๊ทธ ๋ฐฐ์น:
I thought everything was fine. [whispering] Then I heard the noise.
๋ ํจ๊ณผ์ ์ธ ์ โ ๋๋ฌด ์ผ์ฐ ๋ฐฐ์น๋ ํ๊ทธ:
[whispering] I thought everything was fine. Then I heard the noise.
์ด ๊ฒฝ์ฐ ์ฒซ ๋ฒ์งธ ๋ฌธ์ฅ์ ํฌํจํ์ฌ ์ ์ฒด ๋ฌธ์ ์ด ์์ญ์ด๋ฏ ํํ๋ฉ๋๋ค.
ํ๊ทธ ์กฐํฉํ๊ธฐ
ํ ๋ฌธ์ ๋ด์์ ์ฌ๋ฌ ํ๊ทธ๋ฅผ ์ฐ๊ฒฐํ์ฌ ์ ๋ฌ ๋ฐฉ์์ ๋ณํ๋ฅผ ์ค ์ ์์ต๋๋ค:
[soft voice] I wasn't sure what to say. [long pause] [loud voice] But then it hit me.
์์ฑ ๋ฐ์ ํ๊ทธ๋ฅผ ๋ฌธ์ฅ ์ฌ์ด์ ๋ฐฐ์นํ์ฌ ์์ฐ์ค๋ฌ์ด ์ ํ์ ์ฐ์ถํ ์ ์์ต๋๋ค:
That was the third time this week. [sigh] I really need to fix that.
๋ค์ค ํ์ ๋ํ
S2๋ ํ์๋ณ ์ธ๋ผ์ธ ํ๊ทธ ์ ์ด๋ฅผ ํตํ ๋ค์ค ํ์, ๋ค์ค ํด ์์ฑ์ ์ง์ํฉ๋๋ค. ๋ค์ค ํ์ ๊ธฐ๋ฅ์ ๊ณง Fish Audio ํ๋ ์ด๊ทธ๋ผ์ด๋์ API์ ์ถ๊ฐ๋ ์์ ์ด๋ ๊ธฐ๋ํด ์ฃผ์ธ์.
ํ
๋จ์ํ๊ฒ ์์ํ์ธ์. ์ ์ ํ ๋ฐฐ์น๋ ํ๋์ [whispering]์ด๋ [sigh]๊ฐ ๋ฌธ์ ์ ์์ ํ ๋ฐ๊ฟ ์ ์์ต๋๋ค. ๋ชจ๋ ๋ฌธ์ฅ์ ํ๊ทธ๋ฅผ ๋ฃ์ ํ์๋ ์์ต๋๋ค.
์๋ ์กฐ์ ์ ์ํด ์ผ์ ์ ์ง๋ฅผ ํ์ฉํ์ธ์. [pause]์ [long pause]๋ ํนํ ๊ฐ์ ๋ณํ ์ง์ ์ ์์ฑ์ ์์ฐ์ค๋ฝ๊ฒ ๋ง๋๋ ๋ฐ ๊ฐ์ฅ ์ ์ฉํ ํ๊ทธ ์ค ํ๋์
๋๋ค.
๋ฐ์์ ํตํด ๊ฐ์ ์ ์ ๋ฌํ์ธ์. ๊ฐ์ ํ๊ทธ์๋ง ์์กดํ๊ธฐ๋ณด๋ค ๋ฐ์๊ณผ ์กฐํฉํด ๋ณด์ธ์: [sigh] [sad] ์ด์ ๋ ์ด์ ๋ชจ๋ฅด๊ฒ ์ด. ํ์จ์ด ๊ฐ์ ์ ๋ฌผ๋ฆฌ์ ์ผ๋ก ๋ท๋ฐ์นจํด ์ค๋๋ค.
ํ ์คํธํ๊ณ ๋ฐ๋ณตํ์ธ์. ๋ชฉ์๋ฆฌ๋ง๋ค ํ๊ทธ์ ๋ฐ์ํ๋ ๊ฐ๋๊ฐ ๋ค๋ฅผ ์ ์์ต๋๋ค. ํ๊ทธ ํจ๊ณผ๊ฐ ๋๋ฌด ๋ฏธ๋ฏธํ๋ค๋ฉด ์ฃผ๋ณ ํ ์คํธ์ ๋ฌธ๋งฅ์ ํตํด ์ด๋ฅผ ๊ฐํํด ๋ณด์ธ์.
๋งํฌ
- ๋ฐ๋ชจ โ fish.audio
- GitHub โ github.com/fishaudio/fish-speech
- HuggingFace โ huggingface.co/fishaudio/s2-pro

Kyle is a Founding Engineer at Fish Audio and UC Berkeley Computer Scientist and Physicist. He builds scalable voice systems and grew Fish into the #1 global AI text-to-speech platform. Outside of startups, he has climbed 1345 trees so far around the Bay Area. Find his irresistibly clouty thoughts on X at @kile_sway.
Kyle Cui์ ๋ ๋ง์ ๊ธ ๋ณด๊ธฐ