ChatGPT에 회사 자료를 붙여넣을 때 한 번이라도 멈칫한 적 있으세요?
고객 견적서, 직원 명단, 거래처 정보 — 클라우드 AI에 넣으면 어디로 가는지 솔직히 모릅니다. 그런데 이제 그 고민이 해결될 수도 있습니다. 내 폰 안에서만 돌아가는 27B AI가 무료로 공개됐거든요.
지금 GitHub에서 받기: Bonsai 27B Ollama Desktop
아이폰에서 27B AI가 돌아간다고요?
"27B"는 AI 모델의 매개변수 수입니다. 쉽게 말하면 AI의 뇌세포 수예요. 숫자가 클수록 똑똑하지만 그만큼 컴퓨터 자원도 많이 씁니다. ChatGPT-4가 수백 B급이라는 점을 감안하면 27B도 꽤 큰 모델이에요.
그런데 이 27B짜리 AI가 아이폰에서 돌아간다고요?
비밀은 1비트 양자화입니다. 쉽게 말하면 이렇습니다. 원래 AI 모델은 숫자 하나를 표현하는 데 16~32비트를 씁니다. Bonsai 27B는 이것을 1비트로 압축했습니다 — -1, 0, 1 세 값만 써서요. 용량이 확 줄어드는 대신 연산 속도가 수십 배 빨라지는 원리예요.
결과는 3.9GB. 요즘 스마트폰 앱 하나 크기입니다.
2026년 7월 14일, PrismML이 Bonsai 27B를 Apache 2.0 라이선스로 공개했습니다. 상업적 이용도 가능하고 구독료도 없습니다. 기반 모델은 Qwen3.6 27B이며, 멀티모달(텍스트·사진·문서·스크린샷)을 지원하고 262K 토큰 컨텍스트로 긴 문서를 한번에 처리합니다.
▲ Bonsai 27B 핵심 성능 수치 · 출처: PrismML 공식 발표 (prismml.com/news/bonsai-27b)
설치 전 반드시 알아야 할 것 — 사양·비용·한계
좋은 것만 얘기하면 나중에 실망합니다. 솔직하게 정리해 드리겠습니다.
두 버전 비교
| 버전 | 용량 | 실행 기기 | 속도 |
|---|---|---|---|
| 1비트 바이너리 | 3.9GB | 아이폰 (RAM 6GB 이상) | 11 tokens/sec |
| 1.58비트 테너리 | 5.9GB | M5 Pro 노트북 등 | 44 tokens/sec |
아이폰 버전(3.9GB)은 실행은 되지만 초당 11토큰입니다. 짧은 문장 생성에 2~3초 걸린다고 보면 됩니다. 업무용으로 쓰기엔 약간 답답할 수 있어요.
노트북 버전(5.9GB)은 맥북 M5 Pro 기준 44 tokens/sec로 쾌적합니다. 윈도우 노트북은 RAM 8GB 이상이면 테너리 버전이 돌아갑니다.
솔직한 장단점
잘하는 것: 구독료 0원, 인터넷 없이도 작동, 내 데이터가 외부 서버로 나가지 않음, 사진·문서·스크린샷 처리 가능, 풀프리시전 대비 90~95% 성능 유지.
아쉬운 것: 스마트폰에선 속도가 느림, 영어 성능이 한국어보다 좋음, 최신 정보(학습 데이터 이후 사건)는 모름, iOS 버전은 아직 앱스토어 배포 전이라 개발자 설정이 필요함.
클라우드 AI와 비교하면 어떨까요? ChatGPT Plus는 월 약 2만5천원이고 데이터가 OpenAI 서버에 갑니다. Claude Pro도 비슷한 수준입니다. 내부 문서를 자주 다루는 회사라면 로컬 AI가 훨씬 현실적인 선택일 수 있습니다.
그럼 이걸 우리 회사에서는 어디에 써먹을 수 있을까요?
중소기업이 실제로 써먹는 3가지 방법
클라우드 AI 도입을 꺼리는 가장 큰 이유는 하나입니다 — 내부 자료가 외부로 나간다는 불안감. Bonsai 27B는 그 문제를 정면으로 해결합니다.
세무·법무 사무소: 고객 재무 자료나 계약서를 AI에게 요약·검토 맡기고 싶었지만 클라우드는 부담스러웠습니다. Bonsai 27B를 사무실 PC에 설치하면 인터넷 없이도 문서 분석이 가능합니다.
제조업 중소기업: 납품처 단가표, 원가 자료 같은 내부 기밀 문서를 AI로 처리하고 싶었습니다. 사내 PC에서만 도는 로컬 AI라면 보안 걱정 없이 쓸 수 있습니다.
현장 영업: 고객 방문 중 스마트폰으로 견적서 PDF를 찍어 "이 고객한테 뭘 제안하면 좋을까?" 물어봅니다. 와이파이 없어도, 데이터 요금 걱정 없이 됩니다.
사내 시스템에 연결하려면: Ollama는 로컬 HTTP API를 제공합니다. 엑셀 매크로, 사내 Wiki, 기존 업무 시스템과 연동하려면 개발자 도움이 필요하지만 연동 자체는 충분히 가능합니다. 직접 구축이 어렵다면 AI 솔루션 도입 가이드를 참고해보세요.
(주)비젼솔루션 관점: AI 도입의 가장 큰 장벽은 기술이 아니라 신뢰였습니다. "내 데이터가 어디로 가는지 모른다"는 불안이 도입을 막아왔죠. 로컬 AI는 그 신뢰 문제를 기술로 해결합니다. 데이터 주권을 내 손에 쥔 채로 AI를 쓸 수 있는 시대가 열리고 있습니다 — 작은 회사일수록 그 의미가 더 큽니다.*
5분 실습 — 지금 바로 따라하기 (PC 기준)
가장 쉬운 방법은 Ollama를 통한 PC 설치입니다. iOS 버전은 개발자 설정이 필요해 PC로 먼저 익히시길 권합니다.
▲ PC 실습 3단계 · 출처: PrismML Bonsai-27b-Ollama-Desktop GitHub
1단계: Ollama 설치
ollama.com에서 운영체제에 맞는 파일을 내려받습니다. Mac, Windows, Linux 모두 지원합니다.
2단계: Bonsai 27B 다운로드 (약 3.9GB)
터미널(Mac) 또는 명령 프롬프트(Windows)를 열고 아래 명령어를 복붙하세요:
ollama run hf.co/prism-ml/Bonsai-27B-gguf:Q1_S인터넷 속도에 따라 5~15분 걸립니다. 한 번만 받으면 이후엔 인터넷 없이도 씁니다.
3단계: 바로 대화 시작
다운로드가 끝나면 프롬프트가 바로 뜹니다. 아래처럼 써보세요:
이 계약서의 핵심 조건을 3줄로 요약해줘: [내용 붙여넣기]또는
다음 고객 문의에 정중한 답변을 써줘: [내용 붙여넣기]모든 데이터는 내 PC 안에서만 처리됩니다. 인터넷이 끊겨도 됩니다.
자주 묻는 질문
Q. 아이폰에서 돌리려면 어떻게 하나요?
PrismML 공식 데모 GitHub에서 빌드 방법을 안내하고 있습니다. Xcode와 개발자 설정이 필요해 일반 사용자에겐 아직 어렵습니다. 공식 앱스토어 출시가 기다려지는 부분입니다.
Q. 한국어를 잘 이해하나요?
기반 모델인 Qwen3.6은 한국어 성능이 나쁘지 않습니다. 다만 영어로 질문하면 더 정확한 답을 주는 경우가 많습니다. 한국어 문서 요약 정도는 충분히 쓸 만합니다.
Q. 무료인데 나중에 유료로 바뀌지 않나요?
Apache 2.0 라이선스입니다. 한 번 내려받은 모델은 라이선스가 바뀌어도 계속 씁니다. 누구든 개선 버전을 만들어 공개할 수도 있어서 오히려 발전 가능성이 높은 모델입니다.
로컬 AI 도입이나 사내 시스템 연동이 궁금하시다면 먼저 물어보세요. (주)비젼솔루션이 도와드립니다.
Vision Solution AI 솔루션 문의: 📧 [email protected] 🌐 https://www.visionc.co.kr/ai-solution