[카테고리:] IT·AI

Kimi K3 로컬 실행은 기술적으로 가능하지만, 일반적인 개인용 PC나 단일 GPU 워크스테이션에서 전체 모델을 실용적으로 구동하기는 어렵습니다.

공식 가중치 저장소의 전체 용량이 약 1.56TB이고, 현재 공개된 vLLM 배포 레시피도 최소 GB300 GPU 8개를 전제로 합니다. 일반 사용자가 말하는 ‘내 컴퓨터에서 실행’보다는 여러 가속기를 연결한 서버에서 자체 호스팅하는 모델에 가깝습니다.

다만 594GB까지 줄인 비공식 1비트 GGUF 양자화가 등장해, 대용량 시스템 메모리를 갖춘 특수 장비에서는 실험적인 CPU·GPU 혼합 실행이 가능해졌습니다. 모델을 불러오는 것과 대화형 속도로 안정적으로 운영하는 것은 별개의 문제입니다.

Kimi K3 로컬 실행 결론부터 정리

개인 PC에서 Kimi K3의 전체 가중치를 직접 실행하려는 목적이라면 현실적인 답은 아니오에 가깝습니다. 회사 서버나 GPU 클러스터를 보유했거나, 초저비트 양자화를 낮은 속도로 시험하려는 경우에만 자체 실행을 검토할 만합니다.

Kimi K3가 얼마나 큰 모델인가

Moonshot AI가 공개한 Kimi K3의 핵심 사양은 다음과 같습니다.

Kimi K3는 각 토큰을 처리할 때 896개 전문가 중 16개만 선택하는 희소 MoE 구조입니다. 활성 매개변수는 1,040억 개지만, 이것이 곧 “1,040억 모델과 같은 메모리로 실행된다”는 뜻은 아닙니다. 요청마다 서로 다른 전문가가 선택될 수 있으므로 전체 전문가 가중치를 저장하거나 필요한 시점에 빠르게 불러올 수 있어야 합니다.

활성 매개변수와 필요한 메모리는 다르다

MoE 모델에서는 세 가지 수치를 구분해야 합니다.

1. 전체 매개변수: 저장해야 하는 전체 모델 규모
2. 활성 매개변수: 한 토큰 계산에 실제 참여하는 부분
3. 실행 메모리: 가중치와 KV 캐시, KDA 상태, 버퍼, 추론 엔진이 차지하는 전체 용량

Kimi K3는 계산할 때 전체 2.8조 개를 매번 사용하지 않지만, 전체 가중치 저장소는 여전히 약 1.56TB입니다. 여기에 컨텍스트 캐시와 추론 엔진용 메모리가 추가되기 때문에 1.56TB의 GPU 메모리나 RAM만 확보했다고 바로 안정적인 실행이 보장되지는 않습니다.

공식 Kimi K3 GPU 요구사항

Moonshot AI는 Kimi K3의 효율적인 추론 환경으로 64개 이상의 가속기를 연결한 슈퍼노드 구성을 권장했습니다. 이는 모델을 켤 수 있는 절대적인 최소 사양이 아니라, 대규모 서비스에서 통신 효율과 처리량을 확보하기 위한 권장 환경입니다.

현재 vLLM과 SGLang이 공개한 실제 배포 예시는 다음과 같습니다.

vLLM의 Kimi K3 레시피는 CUDA 13 기반 이미지와 최신 NVIDIA 드라이버를 요구하며, 실제 서비스 트래픽에는 다중 노드 구성을 권장합니다. SGLang도 B300·GB300·B200·GB200·H200·H100·MI350X 계열별로 별도의 병렬화 설정을 제공합니다.

따라서 “Kimi K3는 GPU 몇 장이면 실행되는가?”라는 질문에는 GPU 개수만으로 답하기 어렵습니다. GPU 종류와 메모리 용량, 노드 간 연결 속도, 컨텍스트 길이, 동시 요청 수, 목표 응답 속도를 함께 정해야 합니다.

1.56TB는 저장공간일 뿐이다

Hugging Face의 공식 Kimi K3 저장소는 약 1.56TB이며, 가중치가 96개의 Safetensors 파일로 나뉘어 있습니다. 최소한 이 파일을 내려받을 저장공간이 필요합니다.

실행할 때는 다음 공간이 추가됩니다.

• 모델 가중치를 올려 둘 GPU 메모리 또는 시스템 RAM
• 입력과 출력 토큰을 보관하는 캐시
• KDA 상태 메모리
• 이미지 인코더와 추론 엔진의 작업 공간
• 동시 요청 처리를 위한 여유 메모리
• 모델 다운로드·변환·캐시용 디스크 공간

특히 최대 100만 토큰 컨텍스트는 모델이 지원하는 상한선이지, 모든 환경에서 부담 없이 사용할 수 있다는 의미가 아닙니다. SGLang의 저메모리 프로필도 메모리 여유를 확보하기 위해 컨텍스트를 65,536토큰으로 줄이고 동시 요청 수를 제한합니다.

GGUF 양자화를 사용하면 개인 PC에서 가능할까

Unsloth가 공개한 Kimi K3 GGUF 양자화 파일 크기는 다음과 같습니다.

Kimi K3는 처음부터 MXFP4 가중치로 학습됐기 때문에, 일반적인 BF16 모델처럼 Q4로 바꿨을 때 파일 크기가 절반 이하로 크게 줄어들지 않습니다. Unsloth 자료에서도 Q4가 1.51TB, Q8이 1.56TB로 표시됩니다.

594GB 모델은 512GB RAM에서 실행될까

파일 크기만 놓고 보면 어렵습니다. 594GB는 가중치 파일 자체의 크기이며, 운영체제와 추론 프로그램, 모델 상태, 컨텍스트 캐시가 사용할 공간이 별도로 필요합니다.

768GB나 1TB급 시스템 RAM에서는 1비트 모델을 불러올 여지가 생기지만 다음 문제가 남습니다.

• CPU 메모리 대역폭에 따른 느린 생성 속도
• 디스크 오프로딩 시 추가 속도 저하
• 초저비트 양자화에 따른 응답 품질 변화
• 멀티모달 기능과 긴 컨텍스트의 제약
• llama.cpp용 Kimi K3 지원 코드의 성숙도
• 장시간 실행 시 안정성

Unsloth는 llama.cpp와 Unsloth Studio를 이용한 실행 경로를 제공하지만, 이는 Moonshot AI의 공식 프로덕션 배포 구성과는 다릅니다. 개인 실험용 경로로 보는 편이 안전합니다.

공식 가중치와 GGUF 중 무엇을 선택해야 하나

공식 MXFP4 가중치가 적합한 경우

• 데이터센터급 GPU 클러스터를 보유함
• vLLM이나 SGLang으로 API 서버를 구축하려 함
• 정확도와 원본 동작 보존이 중요함
• 다중 사용자 요청을 처리해야 함
• 이미지 입력과 긴 컨텍스트를 활용해야 함

공식 모델 카드는 vLLM, SGLang, TokenSpeed를 권장 추론 엔진으로 안내합니다.

GGUF가 적합한 경우

• 초대용량 RAM 서버에서 개인 실험을 진행함
• GPU 전체 상주 대신 CPU·GPU 혼합 실행을 시험함
• 낮은 속도를 감수할 수 있음
• 양자화에 따른 품질 변화를 직접 평가할 수 있음
• 프로덕션이 아닌 기술 검증이 목적임

GGUF 파일이 존재한다고 해서 노트북용 모델이 된 것은 아닙니다. 가장 작은 변형도 594GB이므로, 일반 로컬 LLM과 같은 설치 경험을 기대하기 어렵습니다.

직접 실행과 API 사용 비교

2026년 8월 3일 확인 기준 Kimi의 공식 글로벌 가격 안내에는 캐시가 적용되지 않은 입력이 100만 토큰당 3달러, 출력이 15달러, 캐시 적중 입력이 0.30달러로 표시돼 있습니다. 가격과 사용 가능 지역은 바뀔 수 있으므로 실제 적용 전 공식 결제 화면을 다시 확인해야 합니다.

모델 성능을 확인하거나 코딩 에이전트에 연결하는 것이 목적이라면 API가 훨씬 현실적입니다. 자체 호스팅은 외부 전송이 허용되지 않는 데이터, 고정된 내부 인프라 정책, 대규모·지속적인 호출량처럼 명확한 이유가 있을 때 검토할 수 있습니다.

‘Kimi Code를 로컬에서 실행’하는 것과 다른 점

터미널에 Kimi Code CLI를 설치해 사용하는 것은 프로그램이 내 컴퓨터에서 실행된다는 뜻입니다. 그러나 기본 설정에서 Kimi K3의 1.56TB 가중치가 내 PC에 적재되는 것은 아닙니다. CLI가 원격 Kimi 모델을 호출하는 방식과 모델 자체를 서버에 배포하는 자체 호스팅은 구분해야 합니다.

로컬 실행이라는 표현은 다음 세 가지 의미로 사용됩니다.

1. 로컬 클라이언트: 내 PC의 프로그램이 클라우드 API를 호출
2. 자체 호스팅: 회사나 개인이 관리하는 GPU 서버에서 전체 가중치 실행
3. 양자화 실험: GGUF와 CPU·GPU 오프로딩으로 축소 모델 실행

Kimi K3의 전체 가중치를 내 장비에서 돌리는지는 두 번째와 세 번째 경우에만 해당합니다.

자체 호스팅 전 확인할 체크리스트

하드웨어

• 모델 파일을 보관할 디스크가 2TB 이상인가
• 가중치와 실행 여유 공간을 감당할 HBM 또는 RAM이 있는가
• GPU 간 NVLink·RDMA 등 고속 연결을 사용할 수 있는가
• vLLM·SGLang이 지원하는 GPU와 드라이버 조합인가
• 장시간 부하에 필요한 전력과 냉각이 준비됐는가

실행 조건

• 최대 컨텍스트가 정말 100만 토큰이어야 하는가
• 예상 동시 요청 수를 정했는가
• 목표 첫 토큰 지연 시간과 생성 속도를 정했는가
• 이미지 입력이 필요한가
• 원본 MXFP4와 GGUF 중 어떤 형식을 사용할지 정했는가

운영

• 모델 라이선스를 확인했는가
• 입력 데이터와 로그 보존 정책을 정했는가
• 엔진 업데이트와 보안 패치를 담당할 인력이 있는가
• 자체 구축비와 API 비용을 같은 사용량 기준으로 비교했는가
• 장애 시 대체 API나 모델을 준비했는가

어떤 선택이 현실적인가

개인 사용자

일반 PC에서 Kimi K3 전체 모델을 직접 실행하기보다 Kimi 웹 서비스나 API를 사용하는 편이 현실적입니다. 로컬 처리가 꼭 필요하다면 Kimi K3가 아닌 더 작은 모델을 선택하는 것이 합리적입니다.

개발팀

짧은 평가 기간에는 API를 사용해 성능과 토큰 사용량을 먼저 측정하는 편이 낫습니다. 이후 데이터 반출 제한이나 지속적인 대규모 호출 때문에 자체 호스팅의 이점이 확인될 때 클러스터 구축을 검토할 수 있습니다.

연구기관·인프라 조직

GB300·B300·H200·H100·MI350X 계열의 다중 GPU 환경이 있다면 vLLM이나 SGLang의 공식 레시피를 기준으로 시험할 수 있습니다. 처음부터 100만 토큰과 높은 동시성을 적용하기보다 짧은 컨텍스트와 낮은 동시 요청으로 시작해 메모리와 처리량을 측정해야 합니다.

핵심 요약

• Kimi K3는 2.8조 매개변수, 활성 1,040억 매개변수의 MoE 모델입니다.
• 공식 가중치 저장소는 약 1.56TB입니다.
• 활성 매개변수가 작아도 전체 전문가 가중치를 저장하거나 읽을 수 있어야 합니다.
• vLLM이 안내하는 현재 최소 공식 구성은 GB300 GPU 8개 이상입니다.
• SGLang은 GPU 종류에 따라 8~32개 이상의 배포 구성을 제공합니다.
• 가장 작은 공개 GGUF도 594GB여서 일반 PC용 모델로 보기 어렵습니다.
• 개인 사용자와 소규모 개발팀에는 API 방식이 가장 현실적입니다.
• 자체 호스팅은 데이터 통제나 대규모 사용량처럼 분명한 운영 이유가 있을 때 검토해야 합니다.

FAQ

Kimi K3를 맥북이나 윈도우 노트북에서 실행할 수 있나요?

전체 모델을 실용적인 속도로 실행하기는 어렵습니다. 가장 작은 공개 GGUF도 594GB이며, 일반 노트북의 통합 메모리나 RAM을 크게 초과합니다. 원격 API를 호출하는 클라이언트 프로그램은 노트북에서도 사용할 수 있지만, 이는 모델 가중치 자체를 로컬에서 실행하는 것과 다릅니다.

활성 매개변수가 104B라면 104B 모델용 GPU로 충분하지 않나요?

아닙니다. 104B는 한 토큰을 계산할 때 활성화되는 매개변수 규모입니다. 라우터가 요청마다 다른 전문가를 선택할 수 있으므로 전체 2.8T 가중치에 접근할 수 있어야 합니다.

594GB 1비트 모델은 품질이 원본과 같나요?

같다고 단정할 수 없습니다. 594GB 변형은 제3자가 만든 초저비트 GGUF이며, Moonshot AI의 공식 MXFP4 체크포인트와 형식과 정밀도가 다릅니다. 사용 목적에 맞는 별도 품질 평가가 필요합니다.

100만 토큰 컨텍스트를 로컬에서도 바로 사용할 수 있나요?

모델이 지원하는 최대 상한은 1,048,576토큰이지만, 실제 사용 가능한 길이는 GPU 메모리와 동시 요청 수에 따라 달라집니다. SGLang의 저메모리 예시도 컨텍스트를 65,536토큰으로 낮춰 메모리를 확보합니다.

자체 호스팅과 API 중 어느 쪽이 더 저렴한가요?

호출량과 장비 보유 여부에 따라 달라집니다. 자체 호스팅에는 GPU 구매·임대, 전력, 네트워크, 저장장치, 엔지니어링 비용이 포함됩니다. 사용량이 확정되지 않은 초기 단계에서는 API로 실제 토큰 사용량을 측정한 뒤 비교하는 방식이 안전합니다.

출처 및 참고자료

1. Moonshot AI, Kimi K3 공식 GitHub 저장소 — 모델 구조와 전체·활성 매개변수, 공개 가중치 안내. 확인일 2026-08-03.
2. Moonshot AI, Kimi K3 공식 Hugging Face 모델 카드 — MXFP4 형식, 100만 토큰 컨텍스트, 배포 엔진 안내. 확인일 2026-08-03.
3. Moonshot AI, Kimi K3 기술 소개 — 64개 이상 가속기 슈퍼노드 권장과 아키텍처 설명. 2026-07-14.
4. vLLM, Kimi K3 배포 레시피 — GB300·MI350X 계열의 최소 배포 안내. 업데이트 2026-07-30.
5. SGLang, Kimi K3 Cookbook — B300·GB300·B200·H200·H100별 다중 GPU 구성. 확인일 2026-08-03.
6. Unsloth, Kimi K3 GGUF — 1비트·2비트·4비트·8비트 양자화 파일 크기와 llama.cpp 실행 경로. 확인일 2026-08-03.
7. Kimi 공식 가격 안내 — Kimi K3 API 입력·출력 가격과 컨텍스트 길이. 2026-07-28.