나만의 음성 AI 비서 만들기｜Claude Code로 자비스풍 화면·손동작 구성
아이언맨을 보고 “나도 저런 자비스 하나 있었으면” 생각했다면, 이제 빈 화면부터 만들 필요는 없습니다. 음성에 반응하는 원형 화면부터 손으로 메모와 3D 모델을 움직이는 인터페이스까지 공개된 프로젝트가 있습니다.
Claude Code를 쓰고 있다면 Fullstack Agent로 화면·음성·기억을 묶는 방법이 가장 직접적입니다. Codex 사용자도 화면 코드를 활용할 수 있지만, Claude 전용 음성 연결을 그대로 쓸 수 있는 것은 아닙니다. 아래에서 설치 경로와 이 차이를 구분하겠습니다.
이 글은 2026년 9월 24일 확인한 제작자 문서·설정 예제를 바탕으로 한 설치 가이드입니다. 개인 PC에서의 전체 설치 실측 후기는 아닙니다.
먼저 실제 화면부터 보세요
다음은 제작자가 공개한 시연입니다. 설치 전 원하는 화면인지 먼저 확인하세요.
- 전체 구성 시연: My Jarvis AI Assistant — 화면·음성·기억·손동작 소개
- AI Visualizer 화면 시연 — 회로판과 반응형 화면
- Barehands 손동작 인터페이스 시연 — 카메라 앞에서 패널과 3D 물체 조작
1. 원하는 자비스에 따라 고를 프로젝트가 다릅니다
| 목표 | 프로젝트 | 확인할 점 |
|---|---|---|
| 화면·음성·기억 함께 설치 | Fullstack Agent | Claude Code 중심 설치 마법사 |
| 움직이는 비서 화면 | AI Visualizer | 화면 단독 실행과 실제 음성 연동은 별개 |
| Claude와 음성 대화 | Backtalk | Claude 전용, 한국어 설정 별도 확인 |
| 손으로 패널 움직이기 | Barehands | 웹캠·Chrome 필요 |
| 영화풍 계기판과 레이더 | JARVIS Interface | Anthropic API 사용, 슈트·레이더는 연출형 정보 |
영화풍 화면과 실용 비서를 함께 원하면 Fullstack Agent 계열을, 슈트 계기판 분위기가 우선이면 JARVIS Interface를 검토하세요. 영화 속 모든 기능을 그대로 구현했다는 뜻은 아닙니다. 실제 파일 작업과 화면 연출을 나누어 보면 선택하기 쉽습니다.
2. 설치 전 준비할 것
- Claude 경로: 공식 안내에서 Claude Code를 설치하고 로그인합니다. 일반 웹 채팅이 아니라 로컬 Code 작업 환경을 준비합니다.
- 공통: Git과 Python 3 설치 여부를 확인합니다. 운영체제에 기본 포함돼 있다고 가정하지 말고 버전 출력으로 확인하세요.
- 장치: 대화에는 마이크·스피커, 손동작에는 웹캠이 필요합니다.
- 작업 위치: 기존 중요 자료와 분리된 새 폴더에서 시작합니다. 처음에는 연습용 메모만 연결합니다.
git --version python3 --version claude --version
Windows에서는 Python 설치 상태에 따라 python --version 또는 py --version을 확인합니다. 명령을 찾지 못하면 먼저 해당 프로그램을 설치하고 터미널을 다시 여세요. Git과 Python은 각각 Git 공식 다운로드, Python 공식 다운로드를 이용합니다.
3. Claude Code로 통합 자비스 설치하기
다음은 제작자 설치 흐름을 단계별로 나눈 것입니다. 새 작업 폴더를 연 뒤 실행합니다. 이미 같은 저장소가 있다면 다시 복제하지 말고 기존 위치를 확인하세요.
git clone https://github.com/jaredrhod/fullstack-agent cd fullstack-agent claude "set me up"
Mac·Linux에서 사용할 수 있으며, Git이 설치된 Windows에서도 저장소를 받은 뒤 Claude Code를 실행하는 흐름은 같습니다. Git이 없는 Windows용 별도 설치 명령은 저장소의 Windows 절을 참고하세요. 긴 다운로드 명령을 출처 확인 없이 복사하지 않는 편이 좋습니다.
설치 대화에서는 다음처럼 선택하면 목적이 분명해집니다.
개인용 자비스를 구성하고 싶어. 이름은 JARVIS, 업무 답변은 한국어로 해줘. 화면과 음성을 먼저 설정하고 손동작은 선택 항목으로 남겨줘. 기존 자료는 이동하거나 덮어쓰지 말고 연습 메모 폴더부터 연결해줘. 설치할 구성요소와 요청 권한을 먼저 설명해줘. 파일 변경 등 실행 승인은 유지하고, 마이크는 누르고 말하기로 시작해줘. 마지막에 시작·종료 방법과 실제 연결된 기능을 정리해줘.
설치기는 기억·음성·화면·손동작을 선택해 연결하도록 안내합니다. 완료 후 제작자 문서상 Chat·Talk·Barehands 시작 바로가기를 사용할 수 있으며, 실행 창의 Ctrl+C로 종료합니다. 바로가기가 보이지 않으면 설치 완료 여부와 저장 위치부터 확인하세요.
4. 원형 자비스 화면부터 띄우는 방법
전체 설치가 부담스럽다면 AI Visualizer만 먼저 확인할 수 있습니다. Mac·Linux에서 다음 순서로 실행합니다.
git clone https://github.com/jaredrhod/ai-visualizer cd ai-visualizer ./run.sh
Windows는 폴더 안의 run.bat을 사용합니다. 화면에는 회로판·원형 입자·코드 속 얼굴·신경망 형태가 있습니다. 아이언맨풍 원형 반응 화면을 원한다면 Radial부터 보세요. 기본 포트는 8790이며, 브라우저가 열리지 않으면 실행 로그를 확인한 뒤 http://127.0.0.1:8790/에 접속합니다.
이름과 기본 화면은 ai-visualizer.json.example을 별도 설정 파일 ai-visualizer.json로 복사해 바꿉니다. 아래는 필요한 필드 예시입니다. 기존 설정의 다른 항목은 유지하세요.
{
"name": "JARVIS",
"face": "radial",
"port": 8790,
"bus_dir": "/실제/backtalk/폴더/경로"
}
공식 설정 예제의 경로를 자신의 환경에 맞춥니다. 음성 연결 전에는 데모 화면일 수 있습니다. 움직인다는 사실만으로 AI가 연결된 것은 아닙니다. 실제 연결 뒤에는 말을 시작할 때 듣기, 요청 처리 중에는 생각하기, 답변 중에는 말하기 상태로 바뀌는지 확인하세요.
5. 목소리를 붙일 때 한국어 설정을 놓치지 마세요
Backtalk는 Claude Code를 음성으로 호출하는 구성입니다. 제작자 문서상 로컬 음성 인식·합성을 사용할 수 있지만, AI 대화는 Claude 이용량을 소비합니다. 선택형 ElevenLabs 음성은 별도 API 경로입니다. “음성 API 키가 필요 없다”와 “전체 서비스가 무료다”는 다릅니다.
통합 설치를 했다면 중복 설치 대신 기존 Backtalk 경로를 확인합니다. 별도로 설치할 경우 저장소의 운영체제별 안내를 따르세요. 기본 설정 예제는 stt_model: small.en으로 영어 전용 모델을 지정합니다. 한국어 사용자는 그대로 두면 안 됩니다.
현재 Backtalk 설정과 코드에서 한국어 음성 입력 가능 여부를 확인해줘. 영어 전용 small.en 대신 한국어를 지원하는 다국어 인식 모델을 선택해줘. 음성 출력도 한국어 지원 엔진인지 확인하고, 지원되지 않으면 텍스트 답변을 먼저 유지한 채 대안을 제시해줘. 유료 서비스 연결 전 비용·인증 방식을 알려줘. 시험 문장: "내 메모에서 오늘 할 일 세 개만 정리해줘." 인식된 문장, AI 답변, 소리 출력 결과를 각각 확인해줘.
글을 한국어로 답하도록 지시하는 것과 음성 합성 엔진의 한국어 지원은 별개입니다. 기본 음성이 한국어를 자연스럽게 읽는다고 가정하지 말고 짧은 문장으로 시험하세요. 마이크 입력, 텍스트 답변, 음성 출력을 분리하면 어디서 막혔는지 찾기 쉽습니다.
6. 손으로 패널을 움직이는 화면도 만들 수 있습니다
Barehands는 웹캠으로 손을 추적해 메모·이미지·3D 모델을 조작하는 인터페이스입니다. 공중에 실제 홀로그램을 투사하는 장비가 아니라, 카메라 영상 위에서 반응하는 브라우저 화면입니다.
git clone https://github.com/jaredrhod/barehands cd barehands python3 server.py
Windows에서는 run.bat을 사용합니다. Chrome에서 http://127.0.0.1:8794/stage.html을 열고 필요한 카메라 권한을 허용합니다. 첫 실행은 외부 라이브러리를 불러오므로 인터넷 연결이 필요합니다. 샘플 메모로 손동작을 익힌 다음 실제 메모 폴더를 연결하세요.
손동작 화면만 설치했다고 AI 기억이나 음성이 함께 생기지는 않습니다. 통합 설치를 쓴 경우 어떤 구성요소가 연결됐는지 결과를 확인합니다.
7. Codex·GPT로도 같은 화면을 쓸 수 있나요?
화면 활용은 가능하지만, 통합 설치기를 그대로 GPT용이라고 소개하면 부정확합니다. Fullstack Agent와 Backtalk는 현재 제작자가 Claude Code용으로 안내합니다. 반면 AI Visualizer와 Barehands는 다른 AI와 연결할 수 있는 화면 구성요소입니다.
Codex는 코드 확인·수정·실행 작업을 할 수 있으므로 연결부를 제작하는 데 사용할 수 있습니다. OpenAI 공식 Codex CLI 문서에서 기본 사용법을 확인하세요. 기존 화면에 GPT를 연결하는 개발 작업과 이미 GPT 연결이 완성된 설치 패키지는 구분해야 합니다.
AI Visualizer 화면을 유지하면서 GPT 기반 개인 비서와 연결하고 싶어. 먼저 README와 화면 상태 전달 코드를 읽고 연결 계획만 작성해줘. Claude 전용 Backtalk를 이름만 바꿔 실행하지 마. 텍스트 입력부터 구현하고 응답 후 화면 상태가 복귀하는지 시험해줘. 다음 단계에서 한국어 음성 인식과 합성을 연결해줘. AI 인증은 지원되는 공식 방식으로 구현하고, 브라우저 코드에 장기 API 키를 넣지 마. 데모 신호와 실제 AI 응답을 구별해서 표시해줘. 추가 결제나 계정 권한이 필요한 단계에서는 먼저 알려줘.
이 요청문은 별도 연결 작업을 시작하는 설계 지시입니다. 복사만 하면 완성된다고 보장하는 설치 명령은 아닙니다. 가장 짧은 설치 경로는 Claude용 통합 구성을 이용하는 것이고, Codex 경로는 같은 화면을 활용해 연결부를 맞추는 방식입니다.
8. 슈트 계기판 느낌이 더 좋다면
JARVIS Interface는 아크 리액터·레이더·음성 파형·통신 기록과 부팅 연출을 갖춘 웹 프로젝트입니다. 제작자 안내에는 Anthropic API 키가 필요합니다. 실제 설치 전 package.json의 실행 환경 요구사항을 확인하세요. README의 복제 주소에는 예시 사용자명이 남아 있어 아래처럼 실제 저장소 주소를 사용해야 합니다.
git clone https://github.com/vinimartinson/jarvis-interface cd jarvis-interface npm install # .env.local에 ANTHROPIC_API_KEY 설정 후 npm run dev
키는 공개 저장소에 올리지 않습니다. 기본 안내 주소는 http://localhost:3000입니다. 레이더나 슈트 상태는 연출형 패널이며 실제 위협 탐지 기능으로 이해하면 안 됩니다. 이 후보는 영화풍 화면 참고에는 좋지만 충분히 검증된 완제품으로 추천하는 것은 아닙니다.
9. 내 비서의 역할은 이렇게 정하세요
화면을 띄운 다음에는 기능을 하나씩 맡깁니다. 다음은 프로젝트 업무 지침으로 사용할 수 있는 예시입니다.
내 개인 비서의 역할 1. 정리: 지정한 메모 폴더에서 필요한 내용만 찾는다. 2. 계획: 근거가 있는 마감과 중요도를 기준으로 다음 행동을 정한다. 3. 작성: 결과는 outputs 폴더에 새 문서로 저장한다. 4. 검토: 원본과 결과를 대조하고 실제 실행과 제안을 구분한다. 원본은 임의 삭제하지 않는다. 메일 발송·일정 등록은 실행 내용을 보여주고 승인받는다. 모르는 일정이나 수치를 만들어 채우지 않는다. 답변은 핵심부터 짧게, 필요할 때 세부 내용을 설명한다.
첫 과제는 “연습 메모 두 개를 읽고 할 일 세 개를 정리해줘” 정도면 충분합니다. 실제 파일이 생성됐는지 열어보고, 다음에 일정 조회나 문서 작성을 추가하세요. 부서별 역할을 더 나누고 싶다면 AI 사무실 만들기와 직원 역할 설정을 참고할 수 있습니다.
10. 설치 후 막힐 때 확인 순서
| 증상 | 먼저 확인 |
|---|---|
| 화면만 반복해서 움직임 | 데모 모드인지, 실제 음성 상태 연결이 되었는지 |
| 말해도 입력이 안 됨 | 운영체제 마이크 권한·입력 장치·지정한 말하기 키 |
| 한글 인식이 이상함 | 영어 전용 모델을 사용 중인지 |
| 한국어 답변은 나오는데 소리가 이상함 | 음성 합성 엔진의 한국어 지원 여부 |
| 바로가기를 눌러도 닫힘 | 터미널에서 시작해 오류 로그와 실행 경로 확인 |
| 브라우저가 안 열림 | 서버 실행 여부와 표시된 포트 확인 |
| 응답이 느림 | 처음 모델 로딩인지, PC 성능·대화 길이·네트워크 문제인지 분리 |
사용자 보고도 확인할 만합니다. Backtalk에는 마이크 입력이 무음으로 들어오는 사례, 조용한 입력에서 같은 문구가 반복 인식되는 사례가 올라와 있습니다. 모든 환경에서 발생한다는 뜻은 아니며, 비슷한 증상일 때 자신의 버전·로그와 대조할 자료입니다.
자주 묻는 질문
무료인가요?
공개 코드와 로컬 음성 구성요소를 이용할 수 있지만 Claude 이용권, 선택한 외부 음성 API 등은 별도로 확인해야 합니다. 프로젝트 코드가 공개됐다는 이유로 운영비까지 모두 무료인 것은 아닙니다.
컴퓨터를 꺼도 자비스가 살아 있나요?
이 글의 로컬 구성은 해당 컴퓨터에서 실행됩니다. 전원을 끄면 중단됩니다. 상시 서버 운영은 별도의 배포 작업입니다.
모든 권한을 줘야 하나요?
아닙니다. 화면만 볼 때와 마이크·웹캠·파일 작업을 사용할 때 필요한 권한이 다릅니다. 처음에는 연습 폴더와 필요한 장치만 연결하세요.
가장 추천하는 시작 순서는?
화면 확인 → 짧은 음성 대화 → 연습 메모 처리 → 손동작 순서입니다. 화면 반응과 업무 결과를 하나씩 확인하면 멋진 데모에 그치지 않고 실제로 쓸 수 있는 비서로 발전시키기 쉽습니다.