ChatGPT에 회사 자료를 붙여넣을 때 한 번이라도 멈칫한 적 있으신가요?
고객 계약서, 직원 급여 정보, 거래처 단가 — 클라우드 AI에 넣으면 어디 서버에 저장되는지 솔직히 알 수 없습니다. 그런데 이제 그 고민이 해결될 수도 있습니다. 스마트폰 안에서만 돌아가는 AI가 본격화됩니다.
9월 22일(현지시간) 미국 하와이 마우이에서 퀄컴 스냅드래곤 서밋 2026이 열렸습니다. 크리스티아노 아몬 CEO의 기조연설 주제는 "Snapdragon for the agentic age(에이전트 시대를 위한 스냅드래곤)"였고, 새 스마트폰 칩 두 종류 — 스냅드래곤 8 Elite Gen 6와 상위 모델 스냅드래곤 8 Elite Extreme Gen 6 — 가 공개됐습니다. 상위 모델은 300억 파라미터 규모의 AI 모델을 클라우드 없이 기기 안에서 돌릴 수 있다고 퀄컴은 설명했습니다.
다만 이 칩이 들어간 스마트폰은 아직 나오지 않았습니다. 내년 초 출시될 갤럭시 S27 시리즈 일부 기종(S27 프로·울트라)에 탑재될 것으로 업계는 보고 있습니다. 즉 "이미 시작된 일"이 아니라 내년에 손에 들어올 변화이고, 지금 쓰는 갤럭시로도 그 맛보기는 가능합니다.
온디바이스 AI란 무엇인가 — 클라우드 AI와 3가지 차이
"온디바이스(On-device) AI"란 내 기기 안에서 직접 처리하는 AI입니다. ChatGPT처럼 내 질문을 해외 서버로 보내서 답을 받는 방식이 아닙니다. 스마트폰 칩에서 모든 연산이 끝나기 때문에, 인터넷이 없어도 동작하고 내 데이터가 밖으로 나가지 않습니다.
▲ 온디바이스 AI vs 클라우드 AI 핵심 차이 · 출처: (주)비젼솔루션 정리
| 구분 | 클라우드 AI (ChatGPT 등) | 온디바이스 AI (기기 안에서 처리) |
|---|---|---|
| 인터넷 | 필수 | 불필요 |
| 내 데이터 위치 | 해외 서버 전송·저장 | 기기 안에서만 처리 |
| 비용 | 월 구독료 | 무료(기기 구매 포함) |
| 응답 속도 | 서버 응답 의존 | 즉시 |
여기서 짚어둘 점이 하나 있습니다. 갤럭시 AI는 이 표의 오른쪽 칸에 딱 들어가지 않습니다. 갤럭시 AI에는 기기 안에서 처리하는 기능과 삼성 클라우드로 보내 처리하는 기능이 섞여 있습니다. 어느 쪽으로 돌릴지는 사용자가 설정에서 고를 수 있습니다(아래 "직접 해보기"에서 설명합니다).
이번에 공개된 두 칩의 핵심은 헥사곤 NPU(신경망 처리 장치)입니다. 두 칩 모두 한 번에 32,000토큰까지 이해할 수 있습니다. 토큰은 AI가 글을 잘라 읽는 단위인데, 한국어 문서로는 대략 A4 10여 페이지 분량으로 보시면 됩니다(한국어는 영어보다 토큰을 더 많이 씁니다).
상위 모델인 8 Elite Extreme Gen 6는 NPU가 쓰는 공유 메모리가 같은 세대의 일반 모델보다 50% 크고, 그 덕에 300억 파라미터가 넘는 MoE 방식 AI 모델을 스마트폰 안에서 돌릴 수 있습니다. 퀄컴은 일반 모델 대비 AI 성능 35%, 전력 효율 33%가 높다고 밝혔습니다.
NPU란 AI 연산에 특화된 전용 칩입니다. 일반 프로세서보다 AI 계산을 훨씬 빠르고 적은 전력으로 처리하는 엔진이라 보면 됩니다. MoE(전문가 혼합)는 큰 AI 모델을 분야별 전문가 여러 명으로 쪼개 놓고, 질문마다 필요한 전문가만 깨워 쓰는 방식입니다. 덕분에 모델 전체는 커도 실제 연산량은 적어 스마트폰에서도 돌아갑니다.
지금 당장 써볼 수 있는 2가지 도구
최신 스마트폰이 없어도 오늘부터 온디바이스 AI를 체험할 방법이 있습니다.
① Galaxy AI — 갤럭시 S24 이후 기본 기능 무료 내장
삼성 갤럭시 S24·S25·S26 사용자라면 지금 당장 설정에서 Galaxy AI를 켤 수 있습니다. 통화 실시간 통역, 문서 요약, 사진 AI 편집, 녹음 내용 글로 옮기기 등이 들어 있습니다.
비용: 삼성은 공식 홈페이지에서 "갤럭시 AI 기본 기능들은 무료로 제공되나, 향후 출시되는 향상된 기능이나 새로운 서비스는 유료로 제공될 수 있습니다"라고 안내합니다. 즉 지금 폰에 들어 있는 기능들은 기한 없이 무료지만, 앞으로 나올 고급 기능은 유료가 될 수 있다는 뜻입니다.
인터넷 없이 되는 것과 안 되는 것: 모든 기능이 오프라인으로 돌아가는 것은 아닙니다.
- 인터넷 없이 동작: 통화 실시간 통역, 녹음 내용 글로 옮기기, 웹페이지 번역, 사진의 반사·그림자 제거 같은 기본 보정
- 인터넷(클라우드) 필요: 문서·회의록 요약, 웹페이지 요약, 사진에서 사물 지우기·사람 크기 바꾸기 같은 생성형 편집
사양 요건: 삼성 공식 안내 기준 갤럭시 S24 시리즈 이후 스마트폰부터 지원합니다(S24 FE 포함). S23 등 이전 모델은 소프트웨어 업데이트로 일부 기능만 제공됩니다.
단점: 삼성 기기에서만 동작합니다. Galaxy AI가 지원하는 기능 범위 밖의 업무 자동화는 별도 앱이 필요합니다.
② Qualcomm AI Hub — 무료 웹 플랫폼
퀄컴이 운영하는 AI Hub(aihub.qualcomm.com)에는 스냅드래곤 기기에 맞춰 퀄컴이 직접 최적화·검증한 AI 모델이 300개 이상 올라와 있습니다. 어떤 모델이 있는지 목록과 설명은 가입 없이 둘러볼 수 있고, 모델 코드는 GitHub에 오픈소스로 공개돼 있어 사용료가 없습니다.
- GitHub (오픈소스): github.com/qualcomm/ai-hub-models
- 웹 플랫폼: aihub.qualcomm.com
단점: 모델을 실제로 돌려보려면 퀄컴 계정(Qualcomm ID)으로 로그인해 API 토큰을 발급받고, 명령어로 작업을 올리는 과정을 거쳐야 합니다. 개발자용 도구여서 개발 지식 없이 바로 업무에 붙이기는 어렵습니다. 경영자 입장에서는 "어떤 AI가 우리 손에 오고 있는지 미리 확인"하는 용도로 보시면 됩니다.
우리 회사는 어디서 쓸까 — 중소기업 3가지 현장
▲ 온디바이스 AI 중소기업 3가지 활용 현장 · 출처: (주)비젼솔루션 정리
① 공장·창고 현장 (인터넷이 없거나 불안정한 환경) 와이파이가 들어오지 않는 생산 라인이나 야외 창고입니다. 지금 당장 되는 것은 현장에서 말로 남긴 메모를 인터넷 없이 글로 옮겨 적는 정도이고, 작업 지시서 요약이나 불량 판독 보조처럼 무거운 판단까지 오프라인으로 처리하는 것은 내년 칩이 목표로 하는 지점입니다.
② 영업·외근 담당자 (이동 중 통신 불안정) 지하철, 지하주차장, 해외 출장처럼 데이터가 불안정한 상황입니다. 통화 실시간 통역과 미팅 녹음 받아쓰기는 지금도 인터넷 없이 됩니다. 받아쓴 내용을 요약해 정리하는 단계는 아직 인터넷이 필요합니다.
③ 고객·계약 정보를 다루는 업무 (개인정보 보호) 고객 계약서, 직원 급여 자료처럼 밖으로 내보내기 부담스러운 정보입니다. 이때는 갤럭시 설정에서 "기기 내에서만 데이터 처리"를 켜두는 것이 핵심입니다. 이 설정을 켜면 클라우드로 보내는 AI 기능이 꺼지고, 기기 안에서 처리하는 기능만 동작합니다. 켜는 방법은 아래 "직접 해보기"에 있습니다.
(주)비젼솔루션이 보는 관점
기술은 도구이고, 도구는 통제권이 핵심입니다. 지금까지 AI를 쓴다는 것은 클라우드 기업의 서버를 빌리는 것이었습니다. 쓸수록 구독료가 나가고, 우리 데이터는 어딘가에 저장됩니다. 작은 회사일수록 이 종속이 위험할 수 있습니다.
온디바이스 AI는 그 방정식을 바꿉니다. 내 기기가 AI를 구동하면 데이터 주권은 우리 손에 있습니다. 구독이 끊겨도, 인터넷이 끊겨도, 업무는 계속됩니다. 중소기업에게 이 흐름이 중요한 이유입니다.
다만 과장하지 않고 말씀드리면, 오늘 스마트폰의 온디바이스 AI로 회사 업무가 대체되지는 않습니다. 지금 되는 것은 통역·받아쓰기·기본 사진 보정 수준이고, 요약·문서 작성 같은 무거운 작업은 여전히 클라우드 몫입니다. 내년 칩이 그 선을 어디까지 밀어낼지가 관전 포인트입니다. 그래서 지금 할 일은 도입이 아니라 어떤 자료를 어디까지 AI에 보여줄지 회사 기준을 정해두는 것입니다.
직접 해보기 — 회사 자료가 밖으로 안 나가게 설정하기 (5분)
갤럭시 S24 이후 기종을 쓰고 있다면 아래 순서를 따라 해보세요. 기종과 소프트웨어 버전에 따라 메뉴 이름이 조금 다를 수 있습니다.
- 스마트폰 설정 앱을 엽니다.
- 상단 검색창에 "Galaxy AI" 를 입력하고 나온 항목을 탭합니다. (검색으로 안 나오면 설정 → 유용한 기능 안에서 찾으세요.)
- 통화 어시스트, 필기 어시스트, 사진 편집 등 원하는 기능을 켭니다. 첫 실행 시 약관 동의 화면이 나오면 확인 후 진행합니다.
- 같은 화면 맨 아래의 "기기 내에서만 데이터 처리" 를 켭니다. ← 회사 자료를 다룬다면 이게 핵심입니다.
- 켠 다음 실제 업무로 한 번 써보고, 꼭 필요한 기능이 막히면 그때만 다시 끄세요.
4번을 켜면 무엇이 달라지나요? AI가 처리하는 내용이 삼성 클라우드로 나가지 않습니다. 대신 요약, 사진에서 사물 지우기 같은 클라우드 기능은 동작하지 않습니다. 보호와 편리함을 맞바꾸는 설정이라고 보시면 됩니다.
오프라인으로 잘 되는지 확인해 보려면, 먼저 인터넷이 연결된 상태에서 녹음기 앱을 한 번 써서 한국어 언어 파일이 폰에 내려오게 해두세요. 그다음 비행기 모드를 켜고 회의를 한 토막 녹음해 보면, 인터넷이 끊겨 있어도 말한 내용이 글로 옮겨집니다. 반면 그 녹음을 "요약"하는 기능은 동작하지 않습니다 — 지금 기술의 경계선이 바로 여기입니다.
내년 갤럭시 S27 일부 기종부터는 지금보다 훨씬 크고 정교한 AI 모델이 스마트폰 안에서 돌아갈 것으로 기대됩니다. 오늘 이 설정을 먼저 만져보면, 그때 실무에 붙이기 훨씬 쉬워집니다.
AI 도입을 고민 중이시라면 스마트폰 하나로 오늘부터 시작해보세요. 더 깊은 업무 자동화나 회사 맞춤 AI 도입이 궁금하다면 아래로 문의 주시면 됩니다.
정정 (2026-09-28): 처음 발행한 글에 아래 사실 오류가 있어 바로잡았습니다. ① 상위 칩의 NPU 공유 메모리가 50% 크다는 것은 "이전 세대" 대비가 아니라 같은 세대 일반 모델 대비입니다. ② 32,000토큰은 상위 모델만이 아니라 두 칩 모두 지원하며, "약 24,000자"라는 환산은 근거가 없어 삭제했습니다. ③ 300억 파라미터 MoE 모델은 "최대"가 아니라 300억 이상이고, 상위 모델(8 Elite Extreme Gen 6) 기준입니다. ④ 갤럭시 AI가 "모두 무료"는 아니며, 삼성은 기본 기능만 무료이고 향후 향상 기능은 유료일 수 있다고 안내합니다. ⑤ 갤럭시 AI는 "인터넷 없이 동작하는 기능이 대부분"이 아닙니다 — 요약·생성형 사진 편집은 클라우드가 필요해, 오프라인 가능·불가 기능을 나눠 적었습니다. ⑥ 퀄컴 AI Hub는 가입 없이 모델을 돌려볼 수 없고 퀄컴 계정·API 토큰이 필요합니다. 근거: 퀄컴 공식 발표, Android Authority, SamMobile, 삼성 갤럭시 AI 공식 안내, 갤럭시 AI 오프라인 처리 설명, 퀄컴 AI Hub 시작 안내
Vision Solution AI 솔루션 문의: 📧 [email protected] 🌐 https://www.visionc.co.kr/ai-solution