SCE-TTS 버그 수정판과 TTS 제작 경험

https://sce-tts.github.io/#/v2/index

SCE-TTS: 내 목소리로 TTS 만들기

 

심심해서 SCE-TTS를 만져보고 있었는데, 여러가지 버그가 많았습니다.

 

근데 프로젝트 개발도 멈춘 것 같고해서, 수정판을 만들어서 공유합니다.

여러가지 라이선스가 얽힌 문제때문에 깃허브엔 올리지 않겠습니다. 파일 정리도 안되있구요..ㅎㅎ

제작자 : https://github.com/sce-tts, https://github.com/MycroftAI/mimic-recording-studio

 

다운로드: https://junsu.io/run.zip

 

압축 해제 후 위의 문서에 나온대로 사용하시면 됩니다. (run-server.bat)

 

수정한 소스는 https://junsu.io/mimic-recording-studio-master.zip 에 있습니다.

 

backend는 기존의 SCE-TTS 백엔드에서 저장 문제를 해결한 버전입니다.

 

PR: https://github.com/sce-tts/mimic-recording-studio/pull/1

Set encoding when read exists meta data file for append data. by smartse0k · Pull Request #1 · sce-tts/mimic-recording-studio

참고한 파일: https://github.com/sce-tts/mimic-recording-studio/pull/1/files

 

 

frontend는 getUserMedia의 변경으로 인해 오래된 mimic-recording-studio가 마이크를 못 불러오는 버그를 고친 버전입니다.

 

원본: https://github.com/MycroftAI/mimic-recording-studio

GitHub - MycroftAI/mimic-recording-studio: Mimic Recording Studio is a Docker-based application you can install to record voice

수정한 부분: https://github.com/MycroftAI/mimic-recording-studio/blob/master/frontend/src/App/components/Recorder.js

 

 

추가적으로 문의 사항이 있으시면 bananamilk452@gmail.com이나 댓글로 써주시면 감사하겠습니다.

 

 

TTS를 두 개 만들면서 얻은 노하우

어쩌다 지인 TTS를 만드는 프로젝트를 하게 되어서...

 

1. 녹음 할 때 빠르게 말하면 TTS도 빠르게 나옵니다. 평소 말하는 속도로 말해주세요. 3시간 녹음 귀찮다고 랩하듯이 해버리면 TTS도 랩을 합니다.

 

2. 녹음 양이 많으면 많을 수록 TTS에 기계적인 느낌이 빠지고 자연스러워집니다.

 

3. 훈련 시간과 퀄리티는 정비례 하지 않습니다. 저는 30만 체크포인트, 31000 체크포인트에서 보통 작업을 끝냈습니다. Tensorboard에서 loss를 보시면 알겠지만 점점 줄어드는데에도 한계가 있습니다. 잘 확인하시고 적당한 부분에서 훈련을 끝내시길 바랍니다.

 

4. Colab에서 TTS를 제작하는 노트북을 사용하다보면 오류가 좀 있습니다. numba의 버전을 0.52에서 0.53으로 올려야하는 등.. Colab이 아닌 다른 상위 버전 GPU에서 하려면 전체적으로 버전을 다 올려야하는 등... 이 프로젝트는 비 개발자에게 친화적이지 않습니다!! 꼭.. 스트레스로 머리가 빠지기 싫으시다면 개발자에게 부탁하시거나.. 포기하는게 낫습니다.

 

5. 마이크 소리가 너무 작으면 안됩니다.

 

6. 마이크 음질과 퀄리티는 어느정도 비례합니다.

 

7. mimic-recording-studio는 메모리 누수가 좀 있는지, 가끔가다 렉이 걸려 녹음이 끊기는 경우가 있습니다. 몇십개 한 후에는 새로고침을 해주세요.