경기도에서 작은 회계사무소를 운영하는 김 대표.
직원이 고객 명단을 ChatGPT에 붙여넣고 "이거 정리해줘"라고 한 걸 뒤늦게 알았습니다. 순간 등골이 서늘했습니다. "그 명단, 이제 어디로 간 거지?"
요즘 이런 고민하는 사장님 많습니다. AI는 쓰고 싶은데, 회사 자료를 남의 서버에 올리는 게 영 께름칙하거든요.
그런데 최근 분위기가 바뀌었습니다. 메타의 라마, 딥시크, 알리바바 큐원 같은 강력한 AI가 줄줄이 무료로 공개됐어요. 그리고 이걸 인터넷 없이 내 컴퓨터에서 그냥 돌리는 길이 열렸습니다.
▲ 클라우드 AI vs 로컬 AI — 내 자료가 어디 있느냐의 차이
'로컬 AI', 어려운 말 아닙니다
용어는 거창한데 뜻은 간단합니다. 로컬 AI란, 내 데이터를 남에게 넘기지 않고 내 컴퓨터 안에서 처리하는 AI입니다.
ChatGPT는 내 질문을 미국 서버로 보내 답을 받아옵니다. 로컬 AI는 질문도, 답도 전부 내 PC 안에서 끝납니다. 자료가 밖으로 한 발짝도 안 나가죠.
애플의 팀 쿡은 이렇게 말한 적이 있습니다.
"프라이버시는 기본적인 인권입니다." — 팀 쿡, 애플 CEO (NPR 인터뷰, 2015)
거창하게 들리지만, 회사 입장에선 현실적인 얘기입니다. 고객 명단과 계약서는 한 번 새어 나가면 끝이거든요. 로컬 AI는 결국 편리함과 데이터 통제권 사이에서, 통제권을 택한 방식입니다.
무료로 시작하는 도구 — Ollama
말은 그럴듯한데 실제로 어떻게 하냐고요? Ollama(올라마)라는 무료 프로그램 하나면 됩니다.
전 세계 개발자가 가장 많이 쓰는 로컬 AI 도구입니다. 깃허브에서 별을 17만 개 넘게 받았어요. (출처: GitHub) 설치한 뒤 명령어 딱 한 줄이면 AI가 내 PC에서 돕니다.
받는 곳: ollama.com/download (윈도우·맥 설치 파일 제공)
여기에 Open WebUI(오픈 웹유아이)를 더하면 한 걸음 더 나갑니다. ChatGPT처럼 생긴 화면에서 회사 문서(계약서·견적서 PDF)를 올려두고 "이 중에 위약금 조항만 찾아줘"라고 물어볼 수 있어요. 이것도 무료 오픈소스입니다. 깃허브 별 14만 개를 받았습니다. (출처: GitHub)
내 컴퓨터로 될까? — 모델 크기별 사양
가장 많이 묻는 질문입니다. "특별한 장비 사야 하나요?" 대개는 지금 쓰는 사무용 PC로 충분합니다. 모델 크기에 따라 다를 뿐이에요.
| 모델 크기 | 필요한 메모리(RAM) | 어떤 PC면 되나 | 용도 |
|---|---|---|---|
| 소형(3B) | 8GB 이상 | 보통 사무용 노트북 | 간단한 요약·문구 작성 |
| 중형(7~8B) | 16GB 이상 | 최근 데스크톱·고사양 노트북 | 문서 질의·업무 보조(권장) |
| 대형(27B+) | 32GB 이상 / 그래픽카드 권장 | 작업용 워크스테이션 | 복잡한 분석 |
- CPU는 인텔 i5 / AMD 라이젠5 이상이면 무난합니다. (출처: Ollama 안내)
- 그래픽카드(GPU)가 있으면 훨씬 빠르지만, 없어도 작은 모델은 잘 돕니다.
- 맥(애플 M1~M4 칩)은 별도 설정 없이 자동으로 빨라집니다.
처음엔 소형 모델로 가볍게 시작해, 느리다 싶으면 PC를 올리면 됩니다.
Ollama, 솔직히 어디가 좋고 어디가 아쉬울까
좋은 점만 말하면 거짓말이죠. 솔직하게 짚어보겠습니다.
좋은 점
- 무료, 데이터가 밖으로 안 나감, 사용료 0원
- 명령어 한 줄로 시작, 모델 교체가 쉬움
- 자동화에 강함 — 다른 프로그램에서 불러 쓸 수 있는 연결 통로(API)를 제공
아쉬운 점
- 기본이 '명령어' 방식이라, 화면(GUI)을 원하면 Open WebUI를 따로 붙여야 함
- 큰 모델은 좋은 PC가 필요하고, 최신 클라우드 AI(GPT·클로드)보다 답의 깊이는 아직 떨어짐
그럼 다른 선택지는? 목적에 맞게 고르면 됩니다.
| 도구 | 특징 | 누구에게 |
|---|---|---|
| Ollama | 가볍고 자동화 연결(API)에 강함 | 업무 자동화까지 갈 회사 |
| LM Studio | 설치형 화면(GUI) 내장, 채팅·모델 탐색 편함 | 코딩 없이 클릭으로 쓰고 싶을 때 |
| GPT4All | 설치가 가장 간단(올인원) | 일단 가볍게 체험만 |
| 클라우드(ChatGPT 등) | 성능 최고·세팅 쉬움 | 단, 데이터 외부 전송 + 매달 요금 |
(출처: 2026 로컬 LLM 비교 자료)
진짜 핵심 — 내 데이터·업무에 붙이는 법
도구를 깐다고 끝이 아니죠. 독자가 진짜 궁금한 건 "내 자료와 내 업무에 어떻게 연결하느냐"일 겁니다.
① 회사 문서를 AI에 연결 (가장 쉬움) Open WebUI 화면에 계약서·매뉴얼·규정 PDF를 끌어다 올립니다. 그러면 "이 문서들 중에 환불 규정 찾아줘"처럼 내 문서에 근거해 답합니다. 신입 교육, 규정 검색, 견적서 비교에 바로 쓸 수 있어요.
② 반복 업무 자동화 (한 단계 위) Ollama는 다른 프로그램이 불러 쓸 수 있는 연결 통로(API)를 엽니다. 예를 들어 매일 쌓이는 상담 문의를 엑셀·간단한 프로그램에서 자동으로 분류·요약시키는 식이죠. 사람이 하던 단순 반복을 AI가 대신하는 겁니다.
여기서 선을 그어드릴게요.
- 문서 올려 질문하기·간단한 자동화까지는 오늘 소개한 무료 도구로 직접 할 수 있습니다.
- 다만 사내 시스템(ERP·CRM)과 깊게 연동하거나, 회사에 꼭 맞는 자동화를 짜는 건 전문가 영역입니다.
기술의 본질은 결국 '도구'입니다. 그리고 도구는 누가 통제하느냐가 핵심이죠. 데이터를 남의 서버에 맡기는 편리함과, 내 손에 쥐는 통제권 사이의 선택입니다. 작은 회사일수록 데이터 주권이 신뢰와 직결된다고, 저희 (주)비젼솔루션은 그렇게 봅니다.
오늘 5분, 직접 해보기
백문이 불여일견입니다. 지금 그대로 따라 해보세요.
▲ 설치 → 모델 받기 → 질문, 5분이면 끝
① ollama.com/download 접속 → 내 컴퓨터용 설치 파일 받아 설치 ② 윈도우 검색창에 cmd 입력해 '명령 프롬프트'를 연다 ③ 아래 한 줄을 그대로 붙여넣고 엔터:
ollama run gemma3
④ 처음 한 번만 모델을 내려받습니다. 잠시 뒤 입력창이 뜨면:
우리 가게 인스타그램에 올릴 환영 문구 3개만 써줘
⑤ 인터넷 선을 뽑고도 답이 나오는지 확인해 보세요. 이게 로컬 AI입니다.
처음 해보면 "이게 진짜 공짜로, 인터넷도 없이 된다고?" 싶을 거예요. 바로 그 점이 핵심입니다. 회사 자료를 지키면서 AI를 쓰는 첫걸음이죠.
회사 시스템에 맞는 데이터 연결·업무 자동화가 막막하다면 (주)비젼솔루션 무료 상담으로 편하게 물어보세요.
이 글이 도움이 되셨다면, AI 도입을 고민하는 사장님께 공유해 주세요.