RobotVRM Initial Model Mina PC 버전

이 애플리케이션은 스마트폰을 LLM 로봇으로 전환하는 것을 목표로 하는 오픈 소스 RobotVRM의 "초기 모델 Mina" 버전에 대한 간단한 테스트용입니다.
https://github.com/saten-private/RobotVRM

죄송합니다. 이 앱은 RobotVRM 서버 및 기타 환경 유지 비용으로 인해 약간의 비용이 발생하지만, 위 오픈소스를 직접 설정하시면 무료로 실행하실 수 있습니다.

********** 중요한 **********
이 앱을 사용하려면 Anthropic이나 OpenAI 등 별도의 API 키가 필요합니다. (인트로픽을 권장합니다).
이 앱에는 API 수수료가 포함되어 있지 않습니다.
* 장기간 애플리케이션을 실행할 경우 API 수수료가 증가할 수 있으니 주의하시기 바랍니다.
Claude 3 Haiku에서 RobotVRM을 계속 실행하는 데 필요한 API 요금(음성 합성은 홈 서버에서 무료)은 비디오에서 볼 수 있듯이 시간당 미화 5달러 미만이었습니다. (테스트 환경은 2024/11/19 기준 'RobotVRM 초기모델 미나' 버전이었습니다)
* Gemini는 스토어 버전에서 지원되지 않습니다. OSS 버전을 이용해 주시기 바랍니다.

오디오를 재생하려면 Style-Bert-VITS2 서버 등 별도의 오디오 생성 환경이 필요합니다.
ElevenLabs의 API 키를 이용하면 쉽게 음성을 생성할 수 있지만, 이 애플리케이션에는 API 요금이 포함되어 있지 않습니다.
********** 중요한 **********

영상 속 로봇카는 아래의 Arduino OSOYOO 로봇카를 약 50달러에 구입하여 조립하였고, 아래에 포함된 블루투스 장치와 연결하여 앱으로 로봇카를 작동시킵니다.
이 앱은 로봇 자동차 측에서 HC-02(아래에 포함된 Bluetooth 장치)만 지원합니다.
https://osoyoo.com/2020/05/22/osoyoo-model-3-v2-0-robot-learning-kit/

Arduino를 설치하는 프로그램은 다음에서 다운로드할 수 있습니다.
https://github.com/saten-private/RobotVRM/tree/first/Arduino

로봇카에 동봉된 테이프를 이용해 L자형 브라켓을 로봇카에 부착한 후, 영상처럼 고무줄로 고정하면 휴대폰이 로봇카에 고정됩니다.
* 고칠 수 있는 한 무엇이든 가능합니다.
https://watts-online.jp/products/17539?srsltid=AfmBOorxREF7DXRADdJxEtMRO_0XfOGa0fC-jbt4V3DFVtg1LPHPnbcg

이 앱은 pixiv의 ChatVRM을 기반으로 하는 오픈 소스인 Nike-chan's aituber-kit(MIT 라이센스 시점, 2024/9/25 이전)을 기반으로 합니다.

나이키짱의 X 계정
https://x.com/tegnike

aituber-kit (MIT 라이센스 당시, 2024/9/25 이전)
https://github.com/tegnike/aituber-kit/tree/5c1be3dae7e38871839f37857e550b8f7387f718

ChatVRM
https://github.com/pixiv/ChatVRM


영상의 동작환경은 다음과 같습니다

LLM: 클로드 3 하이쿠
음성 생성기: ElevenLabs/Jesica

“초기모델 미나”의 캐릭터는 무료이며, 공공질서 및 미풍양속에 반하지 않는 한 개인 및 기업이 상업적 목적으로 사용할 수 있습니다. 수정 및 재배포도 가능하니 꼭 활용해주세요! 신용 표기가 필요하지 않습니다.
자세한 내용은 다음 "이 저장소의 문자 사용 약관"을 참조하십시오.
https://github.com/saten-private/RobotVRM