업무 PDF에서 답 찾는 시간을 줄이려면｜AnythingLLM으로 문서에 질문하기
설명서나 업무 자료가 쌓여 있는데 필요한 문장 하나를 찾느라 파일을 계속 열고 닫고 있나요? AnythingLLM은 내 문서를 넣고 질문할 수 있는 오픈소스 도구입니다. 데스크톱 앱에 로컬 모델을 연결하면 별도 AI API 요금 없이 문서 질의응답을 시작할 수 있습니다.
이번 목표는 거창한 자동화가 아니라 ‘PDF 한 개에서 근거를 찾아 답 받기’입니다. 처음에는 개인정보가 없는 짧은 설명서로 연습하세요. 답변 속도와 정확도는 컴퓨터 성능, 모델, 문서 추출 상태에 따라 달라집니다.
어떤 방식으로 시작할까요?
| 방식 | 맞는 경우와 차이 |
|---|---|
| Desktop + 로컬 모델 | 개인 PC에서 사용. 모델 다운로드와 저장 공간 필요 |
| Desktop + 외부 AI API | 지원 서비스의 키와 요금 확인 필요. 문서 내용이 외부로 전달될 수 있음 |
| Docker 서버형 | 여러 사용자·공유 기능이 필요한 경우. 개인 입문용보다 설정 범위가 큼 |
1. 공식 데스크톱 앱 설치하기
AnythingLLM Desktop 공식 페이지에서 운영체제에 맞는 설치 파일을 받습니다. Windows·Mac·Linux용 설치 안내는 아래 공식 문서에서 확인할 수 있습니다. 개인 PC 한 대에서 연습할 때는 서버나 Docker부터 만들 필요가 없습니다.
프로젝트 출처와 업데이트는 Mintplex Labs의 GitHub 저장소에서 확인하세요. ‘MIT’는 이 프로젝트의 오픈소스 라이선스를 가리키며 MIT 대학에서 만들었다는 뜻은 아닙니다.
2. 답변 모델과 문서 검색 모델 고르기
첫 실행 설정에서 내장 로컬 LLM 제공자를 선택하고 모델을 내려받습니다. 다운로드 진행은 앱 오른쪽 위에서 확인할 수 있습니다. 처음부터 가장 큰 모델을 고르기보다 실행 가능한 작은 모델로 작동 여부를 먼저 확인하세요.
LLM은 답을 쓰는 모델, Embedder는 문서를 검색 가능한 형태로 바꾸는 모델입니다. 로컬 사용이 목적이면 둘 다 로컬 구성을 확인해야 합니다. 기본 Embedder는 영어 문서 중심으로 학습된 모델이므로 한국어 자료에서 검색이 약하다면 한국어·다국어 지원 임베딩 모델을 검토해야 합니다.
이미 Ollama를 사용 중이면 별도 Ollama 제공자로 연결할 수도 있습니다. 처음 설치하는 경우에는 Ollama 설치와 첫 대화 안내를 참고하세요. 내장 엔진과 별도 Ollama는 설정 경로가 다릅니다.
3. 연습용 작업공간과 문서 넣기
- 새 작업공간(Workspace)을 만들고 ‘제품 설명서’처럼 목적을 이름에 적습니다.
- 채팅 입력창의 + 또는 파일 끌어놓기로 짧은 PDF를 첨부합니다.
- 여러 대화에서 반복 검색할 자료라면 작업공간에 임베딩하는 방식을 사용합니다.
- 문서 길이 제한 경고가 나오면 무시하고 진행하지 말고, 문서를 나누거나 Embed를 선택합니다.
직접 첨부는 문서 본문을 문맥에 넣는 방식이고, RAG 임베딩은 질문과 관련된 조각을 찾아 넣는 방식입니다. 긴 자료를 임베딩했다고 모든 페이지를 매번 읽는 것은 아닙니다.
4. 첫 질문은 좁고 검증 가능하게
다음 질문을 복사한 뒤 대괄호 부분만 자신의 문서에 맞게 바꿔 보세요.
첨부한 설명서에서 [필터 교체 주기]를 찾아 주세요. 결론을 먼저 쓰고, 근거 문장과 해당 절 제목을 함께 알려 주세요. 문서에 없으면 없다고 답하고 일반 상식으로 채우지 마세요.
‘이 자료 요약해 줘’보다 답이 있는 질문 하나가 처음 테스트에 좋습니다. 답을 받으면 원문에서 해당 문장을 찾아 대조하세요. 수치, 날짜, 예외 조건이 맞는지까지 확인해야 실제로 쓸 수 있는 답이 됩니다.
답이 이상할 때 확인 순서
| 증상 | 점검 방법 |
|---|---|
| 문서에 있는 답을 못 찾음 | 파일을 제대로 첨부·임베딩했는지, 질문에 문서 표현을 넣었는지 확인 |
| 스캔 PDF를 읽지 못함 | PDF에서 글자가 선택되는지 확인. 이미지뿐이면 OCR 처리 검토 |
| 한국어 검색이 약함 | 임베딩 모델의 한국어 지원과 추출된 글자 상태 점검 |
| 너무 느림 | 다른 무거운 앱을 닫고 작은 모델·짧은 자료로 비교 |
| 근거 없는 문장을 섞음 | 질문을 좁히고 원문 대조. 출처가 없는 내용은 사용하지 않기 |
내 문서를 지우려면
작업공간에서 제거하는 것과 완전히 삭제하는 것은 다릅니다. 공식 안내상 작업공간에서만 제거하면 문서 라이브러리에는 남습니다. 시스템에서 없애려면 My Documents에서 삭제해야 하며, 이 경우 다른 작업공간에서도 제거됩니다.
자주 묻는 질문
유료 AI 구독이 꼭 필요한가요?
로컬 모델 구성에는 별도 유료 AI 구독이 필수는 아닙니다. 외부 API를 선택하면 그 제공자의 요금이 적용되므로 무료 로컬 사용과 혼동하지 마세요.
설치만 하면 회사 기밀을 넣어도 되나요?
외부 LLM·임베딩·도구 연결 여부와 회사의 자료 이용 규정을 먼저 확인해야 합니다. ‘내 PC에 설치했다’는 사실만으로 모든 처리가 로컬이라고 볼 수는 없습니다.
다른 사람에게 앱 주소를 공유해도 되나요?
개인용 Desktop을 인터넷에 노출하지 마세요. 여러 사용자에게 서비스하려면 인증과 권한 관리를 갖춘 별도 서버 구성이 필요한 다른 작업입니다.
공식 안내와 확인일
최종 확인: 2026년 10월 4일. 기기와 앱 버전에 따라 메뉴 이름이 조금 다를 수 있습니다.