내 PC에서 AI 쓰고 싶은 초보자｜Ollama 설치부터 첫 대화까지
짧은 요약이나 문장 수정을 할 때마다 사용량을 신경 쓰고 싶지 않나요? Ollama로 로컬 모델을 실행하면 내 컴퓨터에서 AI와 대화할 수 있습니다. 다만 성능은 컴퓨터와 모델 크기에 따라 달라집니다. 처음부터 큰 모델 여러 개를 받기보다 작은 모델 하나로 시작하세요.
Ollama는 무엇이고 누구에게 맞나요?
Ollama는 AI 모델을 내려받고 실행하는 도구입니다. 도구 자체와 그 안에서 실행하는 모델은 구분해야 합니다. 같은 Ollama라도 모델을 바꾸면 답변 품질·속도·메모리 사용이 달라집니다.
| 목적 | 추천 시작 방식 |
|---|---|
| 짧은 문장 수정·요약 | 작은 로컬 모델 하나로 결과 비교 |
| 오프라인에서 반복 작업 | 미리 모델을 내려받고 로컬 실행 여부 확인 |
| 최신 뉴스·실시간 검색 | 로컬 모델만으로 최신 정보가 보장되지는 않음 |
| 저사양 PC에서 대형 모델 | 설치 가능 여부와 실사용 속도를 구분, 작은 모델부터 |
설치 전 준비
- Windows: 공식 안내는 Windows 10 22H2 이상을 지원합니다. Windows 11에서도 시스템 사양과 GPU 드라이버를 확인하세요.
- Mac: macOS Sonoma 14 이상. Apple M 계열은 CPU·GPU, Intel 계열은 CPU 실행 지원으로 안내됩니다.
- 저장 공간: 앱과 모델 공간은 별도입니다. 모델별 다운로드 용량을 먼저 확인합니다.
- 메모리: 모델 파일 크기와 실제 실행 메모리는 같지 않습니다. 긴 입력과 큰 모델은 부담이 커집니다.
1. 공식 설치 파일 받기
Ollama 공식 다운로드에서 운영체제를 선택하세요. Windows는 공식 설치 프로그램을 실행하고, Mac은 dmg를 열어 앱을 응용 프로그램 폴더로 옮깁니다. Mac에서 명령어 연결 권한을 요청하면 경로와 안내를 확인합니다.
설치 후 앱을 실행한 상태에서 Windows는 PowerShell, Mac은 터미널을 열고 다음 명령으로 인식되는지 확인합니다.
ollama --version명령을 찾지 못하면 터미널을 닫았다가 다시 열고 앱 설치·명령어 연결이 끝났는지 확인하세요.
2. 작은 모델로 첫 대화 시작
확인일 기준 공식 빠른 시작에 제시된 로컬 예제는 다음과 같습니다. 모델 이름은 공식 문서와 라이브러리에서 확인한 이름을 그대로 사용하세요.
ollama run gemma4:e2b첫 실행에서는 모델 다운로드가 진행될 수 있습니다. 다운로드가 끝나 대화 입력이 가능해지면 아래처럼 범위가 좁은 요청을 넣어 보세요.
다음 문장을 더 짧고 자연스러운 한국어로 바꿔줘. 사실은 추가하지 말고 수정문만 출력해줘: 회의 일정 변경으로 인하여 참석 가능 여부에 대한 회신을 부탁드립니다.
답변이 나왔다는 것뿐 아니라 한국어 표현과 요청 준수 여부도 확인하세요. 같은 문장을 반복 비교하면 모델을 바꿀 때 차이를 보기 쉽습니다. 대화 종료는 /bye입니다.
3. 목록 확인·실행 중지·모델 삭제
| 목적 | 명령 |
|---|---|
| 다운로드한 모델 목록 | ollama list |
| 현재 실행 중인 모델 | ollama ps |
| 모델 실행 중지 | ollama stop gemma4:e2b |
| 해당 모델 파일 삭제 | ollama rm gemma4:e2b |
stop은 실행 중인 모델을 내리는 것이고, rm은 내려받은 모델을 삭제하는 것입니다. 삭제한 모델을 다시 쓰려면 재다운로드가 필요합니다. 예시 대신 다른 모델을 썼다면 목록에 표시된 정확한 이름으로 바꾸세요.
로컬과 클라우드를 구분해야 비용도 줄입니다
Ollama에는 로컬뿐 아니라 클라우드 모델 사용 경로도 있습니다. 로컬 사용이 목적이라면 모델 이름과 선택 화면에서 클라우드 표시를 확인하세요. 클라우드 모델은 원격 실행과 해당 서비스 사용 조건이 적용됩니다.
로컬 실행은 API 호출량 과금과는 다른 방식이지만 전기·장비·저장 공간 비용까지 없어지는 것은 아닙니다. 회사 자료는 로컬이라고 무조건 입력하지 말고 회사의 자료 처리 기준을 따르세요. 별도 연결 도구가 외부로 전송하는지도 구분해야 합니다.
느리거나 오류가 나면
- 메모리 부족: 다른 무거운 앱을 닫고 더 작은 모델·짧은 입력으로 비교합니다.
- 명령은 있지만 연결 오류: Ollama 앱이 실행 중인지 먼저 확인합니다.
- 다운로드 실패: 인터넷 연결과 남은 저장 공간을 확인합니다.
- 답변 품질 부족: 작업 범위를 좁히고 예시 하나를 제공합니다. 모델 변경 전 같은 질문으로 비교합니다.
- GPU 미사용: 공식 운영체제별 지원 GPU·드라이버 문서를 확인합니다.
처음에는 다른 PC나 인터넷에서 접근하도록 서버를 열지 말고 내 컴퓨터에서만 사용하세요. 기본 로컬 사용에 공유기 포트 개방은 필요하지 않습니다.
자주 묻는 질문
유료 AI 구독을 바로 해지해도 될까요?
자주 하는 작업 몇 가지를 비교한 뒤 판단하세요. 설치 성공과 업무 대체 가능성은 별개입니다.
인터넷 없이 사용할 수 있나요?
필요한 로컬 모델을 미리 내려받았다면 로컬 대화는 오프라인으로 활용할 수 있습니다. 모델 다운로드·업데이트·클라우드 실행은 별도입니다.
공식 설치·명령어 자료
공식 GitHub · 빠른 시작 · Windows 설치 · Mac 설치 · 명령어 설명 · FAQ
최종 확인: 2026년 9월 28일. 운영체제·앱 버전과 표시 언어에 따라 메뉴 이름이 다를 수 있습니다.