AnythingLLM로 회사 AI 비서 5단계 설치

매달 나가는 AI 구독료, 계산해보셨나요?

ChatGPT Plus 월 20달러, 직원 5명이 쓰면 연간 120만 원입니다. 게다가 회사 계약서, 거래처 정보를 외부 AI 서버로 보내는 것이 내심 찜찜하기도 하죠.

AnythingLLM은 이 두 문제를 동시에 해결합니다. 회사 문서를 내 PC에 올려두고, 인터넷 연결 없이도 AI와 대화할 수 있는 완전 무료 오픈소스 도구입니다. GitHub 별 6만 개를 넘긴 검증된 프로젝트로, 지금 바로 설치해서 쓸 수 있습니다.

ChatGPT와 결정적으로 다른 점

ChatGPT는 강력하지만 구조적인 한계가 두 개 있습니다.

첫째, 내 회사 문서를 모릅니다. 사내 매뉴얼, 거래처 계약서, 재고 현황 엑셀 — 이런 자료를 ChatGPT에 물어보려면 매번 복사·붙여넣기 해야 합니다. 분량이 많으면 잘리고, 다음날이면 또 처음부터입니다.

둘째, 데이터가 외부 서버로 나갑니다. 의료·법무·제조업이라면 고객 정보나 계약서를 외부 AI 서버로 전송하는 일이 내부 규정이나 계약 조건에 어긋날 수 있습니다.

AnythingLLM은 다르게 작동합니다. 문서를 한 번 업로드하면 AI가 내용을 기억합니다. 그다음부터는 "지난달 납품 계약서에서 위약금 조항이 어떻게 돼 있어?"라고 물어보면 즉시 찾아줍니다. 이 모든 과정이 내 컴퓨터 안에서만 일어납니다.

RAG(검색 증강 생성)란? AI가 문서에서 관련 내용을 먼저 검색한 뒤 답변을 생성하는 방식입니다. 책 전체를 외우는 대신, 필요할 때 해당 페이지를 찾아보는 것과 같습니다. AnythingLLM의 핵심 기술입니다.

설치 전 솔직한 요구사항

"좋다"에서 끝내면 반쪽짜리 정보입니다. 현실적인 조건을 먼저 확인하세요.

어떤 파일을 올릴 수 있나

PC 사양 — 사용 방식에 따라 달라집니다

현실 체크: 일반 사무용 노트북(RAM 8GB)이라면 로컬 AI는 버겁습니다. 이 경우 OpenAI 또는 Claude API를 연결하는 방식을 권장합니다. API는 사용한 만큼만 과금되므로, 실사용량이 적으면 월정액보다 저렴합니다.

다른 무료 도구와 비교

▲ 주요 AI 도구 월 구독료 비교 (1인 기준) · 출처: ChatGPT 공식 가격, Notion AI 공식 가격, AnythingLLM GitHub

Dify와 비교하면 AnythingLLM은 설치가 압도적으로 단순합니다. Dify는 Docker와 서버 환경 지식이 필요한 반면, AnythingLLM은 윈도우 설치 파일 하나로 끝납니다.

우리 회사라면 이렇게 씁니다

업종별로 실제 활용 시나리오를 구체적으로 들겠습니다.

제조업 — 설비 매뉴얼 검색 두꺼운 장비 매뉴얼 PDF 20개를 AnythingLLM에 올려둡니다. "3호 프레스 오류 코드 E-47 대처법"을 물으면 해당 매뉴얼 페이지를 바로 찾아줍니다. 신입 직원이 매뉴얼을 뒤지는 시간을 줄일 수 있습니다.

소매업 — AS 약관·반품 규정 확인 제조사별 AS 약관, 반품 규정 PDF를 올려두면 고객 문의가 들어올 때마다 문서를 뒤질 필요가 없습니다. "A브랜드 냉장고 AS 기간은?"을 물으면 즉시 답합니다.

서비스업 — 계약서 조항 검토 계약서 PDF를 올리고 "위약금 관련 조항을 전부 뽑아줘"라고 하면, AI가 계약서 전체를 읽고 관련 조항만 추려줍니다.

내 데이터 연결 심화 AnythingLLM은 MCP(Model Context Protocol)를 지원합니다. 기술적 조건이 갖춰지면 회사 ERP·CRM과 연결해 AI가 실시간 데이터에 접근하는 환경도 구성 가능합니다. 여기부터는 개발 역량이 필요하므로, 맞춤 설정은 전문가 상담을 권장합니다.

(주)비젼솔루션의 시각

AI 도구 선택에서 가장 자주 놓치는 질문이 있습니다 — "내 데이터가 어디로 가는가." 편리한 클라우드 AI는 그 편리함의 대가로 데이터를 가져갑니다. 중소기업에게 데이터 주권은 추상적인 개념이 아닙니다. 거래처 정보, 가격 전략, 내부 프로세스가 담긴 문서가 외부 서버에 저장된다는 뜻입니다. AnythingLLM 같은 로컬 우선 AI는 처음엔 불편하지만, 그 불편함이 정보 보호의 대가입니다. 도구를 내가 통제하는가, 도구가 나를 통제하는가 — 이 질문이 AI 시대 중소기업의 생존과 연결됩니다.

5단계 설치 — 지금 바로 해보세요

▲ AnythingLLM 설치 5단계 흐름도 · 출처: AnythingLLM 공식 문서

준비물: 인터넷이 연결된 Windows / Mac / Linux PC

1단계 — AnythingLLM 다운로드

공식 사이트에서 운영체제에 맞는 설치 파일을 내려받습니다.

👉 anythingllm.com → "Download" 클릭

Windows라면 .exe, Mac이라면 .dmg 파일을 실행합니다.

2단계 — 설치 및 실행

설치 마법사를 따라가면 5분 내로 완료됩니다. 설치 후 AnythingLLM을 실행하면 브라우저 형태의 화면이 뜹니다.

3단계 — AI 모델 연결

처음 실행하면 LLM 제공자를 선택하는 화면이 나옵니다.

• 쉬운 방법 (권장): OpenAI 또는 Anthropic Claude API 키 입력
• 로컬 방법: Ollama를 별도 설치 후 연결 (고사양 PC 필요)

설정(Settings) → LLM Preference
→ OpenAI 선택 → API Key 입력 → 저장

OpenAI API 키는 platform.openai.com에서 무료로 계정 생성 후 발급. 사용한 만큼만 과금됩니다.

4단계 — 워크스페이스 만들기 + 문서 업로드

① 왼쪽 패널 "New Workspace" 클릭
② 이름 입력 (예: "제품 매뉴얼" 또는 "계약서 모음")
③ "Upload Document" → PDF 또는 Word 파일 선택
④ "Move to Workspace" → "Save and Embed" 클릭

파일 크기에 따라 수 초~수 분이 걸립니다. 체크 표시가 뜨면 완료입니다.

5단계 — AI와 대화 시작

채팅창에 바로 질문합니다.

"이 문서에서 반품 정책 관련 내용을 모두 알려줘"
"3장의 핵심 내용을 3줄로 요약해줘"
"납기일 관련 조항이 몇 페이지에 있어?"

AI가 문서 내용을 근거로 답변하며, 출처 페이지도 함께 표시합니다.

회사 문서 AI 도입이 어렵게 느껴진다면, 환경 구성부터 운영까지 함께 설계해 드립니다.

(주)비젼솔루션 AI 솔루션 문의 📧 [email protected] 🌐 https://www.visionc.co.kr/ai-solution