모델 찾기

방법

오픈 웨이트 모델을 선택하는 실질적인 방법

대부분의 모델 선정 과정은 '어떤 모델이 가장 좋은가'라는 질문에서 시작하지만, '최고'라는 것은 모델 자체의 속성이 아니기에 답을 찾기 어렵습니다. 이는 모델, 작업, 라이선스, 하드웨어 사양을 종합적으로 고려해야 하는 문제입니다. 가장 타협하기 어려운 제약 조건부터 우선순위를 정하는 것이 효율적입니다. 이 표에 적용하면 보통 두 단계 내에 후보군을 몇 개로 좁힐 수 있습니다.

1. 파라미터가 아닌 기가바이트(GB) 단위로 메모리 예산을 설정하세요. 정밀도와 컨텍스트 길이를 정하지 않은 상태에서 파라미터 수는 의미가 없습니다. 현재 63개 모델 중 44개는 Q4_K_M 및 4K 컨텍스트 기준 24GB 이내, 35개는 16GB 이내, 24개는 8GB 이내에서 실행됩니다. 상단 예산 입력란에 실제 수치를 입력하여 목록을 필터링해 보세요.
2. 컨텍스트 길이는 후보군을 정한 후가 아니라 정하기 전에 결정해야 합니다. 컨텍스트는 KV 캐시를 소모하며, 일부 아키텍처에서는 그 비용이 엄청납니다. Command R 35B는 4K에서 27.4GB, 128K에서 194.8GB를 차지합니다. Qwen3 32B는 같은 범위에서 21.7GB에서 55.2GB로 늘어납니다. 4K 기준으로 후보를 정하고 128K로 배포하면 최악의 상황을 맞이할 수 있습니다.
3. 기능보다 라이선스를 먼저 필터링하세요. 기능은 정도의 차이일 뿐 어느 정도 타협이 가능하지만, 사용 사례를 금지하는 라이선스는 넘을 수 없는 벽입니다. 이 중 39개 모델은 Apache 2.0, MIT 또는 수정된 MIT 라이선스이며, 나머지 24개는 출처 표기부터 상업적 이용 금지까지 다양한 조건이 붙어 있습니다.
4. 이제 모델의 주요 기능을 필터링하세요. 상단의 기능 칩은 랩과 커뮤니티에서 사용하는 태그(code, reasoning, vision, agents, multilingual, rag, edge, long-context)를 기반으로 합니다. 5개가 아닌 1~2개만 선택하세요. 태그를 많이 선택할수록 작업에 필요한 것보다 더 큰 모델을 찾게 됩니다.
5. 모델을 하나만 고르지 말고 세 개를 후보로 정해 실제 데이터로 테스트하세요. 실제 작업 환경의 데이터 30~50개로 테스트하는 것이 어떤 공개 리더보드보다 빠르고 정확하게 후보를 가려냅니다. 탈락한 모델도 보관해 두세요. 모델은 몇 달마다 교체되므로 평가 환경을 유지하는 것이 중요합니다.

고생을 줄여주는 마지막 규칙: 품질 기준을 충족하는 가장 작은 모델을 선택하고 거기서 멈추세요. 사용하지 않는 여유 성능은 모든 요청의 지연 시간, 전기 요금, 그리고 요청 사이에 유휴 상태로 노는 GPU 자원으로 돌아옵니다.

Dense, mixture of experts, 그리고 하드웨어를 결정하는 수치

이 표의 모든 모델은 두 가지 파라미터 수치를 가지며, 각각 다른 질문에 답합니다. Total 파라미터는 필요한 메모리 양을 결정합니다. 모든 가중치는 GPU가 즉시 접근할 수 있는 곳에 위치해야 하기 때문입니다. Active 파라미터는 실행 속도를 결정합니다. 하나의 token을 생성할 때 해당 token이 거쳐 가는 가중치만 읽기 때문입니다. Dense 모델에서는 이 두 수치가 동일하므로 고려할 필요가 없습니다. 하지만 mixture of experts 모델에서는 이 수치가 30배까지 차이 날 수 있으며, 이 차이를 활용하는 것이 전체 설계의 핵심입니다.

이 표를 순위가 아닌 트레이드오프로 이해하십시오. mixture of experts는 메모리를 속도로 변환합니다. 모든 expert를 담을 만큼의 VRAM을 확보한 뒤, 각 token마다 그중 일부만 사용하므로 디코딩이 빠르고 모델은 Active 파라미터 수치가 시사하는 것보다 더 똑똑합니다. 메모리는 여유가 있고 지연 시간(latency)은 줄여야 할 때 유리한 트레이드오프입니다.

반대의 상황, 즉 대부분의 사용자가 처한 상황에서는 불리한 트레이드오프입니다. 24GB 카드 한 장을 사용할 경우, MoE는 가장 부족한 자원인 메모리를 거의 사용하지 않는 가중치에 낭비하게 됩니다. 19.7GB인 Qwen3 30B-A3B와 21.7GB인 Qwen3 32B는 메모리 점유율이 거의 비슷하지만, dense 모델은 각 token에 10배 더 많은 연산을 투입합니다. 처리량(throughput) 압박이 없는 단일 카드 환경에서는 보통 dense 32B가 더 나은 선택이며, 다수의 동시 사용자를 처리하는 서버 환경에서는 MoE가 훨씬 유리합니다.

알아두어야 할 두 번째 효과가 있습니다. MoE는 token당 읽는 가중치가 매우 적기 때문에 메모리 대역폭의 영향을 훨씬 덜 받습니다. 메모리 대역폭은 대형 dense 모델이 소비자용 하드웨어나 Apple 실리콘에서 느리게 느껴지는 주된 원인입니다. 이것이 바로 gpt-oss 120B가 약 72GB의 메모리를 필요로 함에도 불구하고, 45GB가 필요한 dense 70B보다 대용량 통합 메모리 머신에서 더 빠르게 생성되는 이유입니다. 용량과 속도는 서로 다른 수치에 의해 결정되며, 위의 mixture-of-experts 필터를 통해 이 둘을 구분할 수 있습니다.

같은 크기의 두 모델이 서로 다른 사양의 머신을 필요로 하는 이유

Attention 열은 사소해 보이지만 그렇지 않습니다. 이는 context 비용을 결정하며, 긴 context에서는 파라미터 수보다 더 중요할 수 있습니다. 이 카탈로그에 있는 4가지 attention 설계 모델에서 4K에서 128K로 확장될 때 어떤 변화가 일어나는지 확인해 보십시오.

Phi-3.5 mini는 모델 선택 기준을 바꿔야 할 모델입니다. 3.8B 모델이라 어디서든 실행될 것이라 생각하기 쉽지만, 광고된 128K context를 모두 사용할 경우 모든 레이어에 32개의 전체 key-value 헤드를 캐싱해야 하므로 약 55GB의 메모리가 필요합니다. 반면 671B DeepSeek R1은 4K에서 128K로 확장되어도 9GB만 추가됩니다. multi-head latent attention이 레이어당 token별로 key와 value를 하나의 작은 벡터로 압축하기 때문입니다. 결과는 모델 크기가 아닌 구조(geometry)에 의해 결정되었습니다.

실용적인 해석은 간단합니다. 짧은 prompt 위주의 작업이라면 attention 열은 무시하고 가중치(weights)를 기준으로 선택하십시오. 긴 문서, 전체 저장소, 대규모 검색 페이로드를 다룬다면 attention 설계를 우선순위로 두십시오. Gemma 3 제품군이나 gpt-oss와 같은 sliding-window 모델은 context가 커져도 메모리 사용량이 거의 일정하며, grouped-query 모델은 관리 가능한 수준으로 증가합니다. 반면 full multi-head 모델은 서류상 아무리 작아 보여도 32K에서 128K 사이에서 감당하기 어려운 수준이 됩니다.

라이선스 열의 실제 의미

Open weights와 open source는 동일하지 않으며, 그 차이에서 대부분의 법적 문제가 발생합니다. 이 페이지의 모든 모델은 누구나 다운로드할 수 있습니다. 하지만 사용 범위는 완전히 자유로운 것부터 명시적으로 비상업적인 것까지 다양합니다. 이 카탈로그의 라이선스 분류와 각 라이선스가 요구하는 사항은 다음과 같습니다.

사람들이 흔히 간과하는 세 가지 사항이 있습니다. 첫째, 라이선스 체계가 연구소별로 일관되지 않습니다. DeepSeek는 R1과 V3를 MIT 라이선스로 공개하지만 Coder V2 Lite는 자체 약관을 따릅니다. Alibaba는 대부분의 Qwen 모델을 Apache 2.0으로 배포하지만 Qwen2.5 3B와 Qwen2.5 72B에는 별도의 조건이 붙습니다. 브랜드 이름만 보지 말고 다운로드한 특정 체크포인트의 라이선스를 확인하십시오.

둘째, 여러 라이선스에는 가중치뿐만 아니라 모델 출력물에 관한 조항이 포함되어 있으며, 특히 생성된 텍스트를 다른 모델 학습에 사용할 수 있는지 여부를 명시합니다. 합성 학습 데이터를 생성할 계획이라면 배포 관련 조항보다 이 조항이 훨씬 중요합니다.

셋째, 파인튜닝 후에도 유지되는 의무 사항입니다. Gemma의 사용 금지 약관은 가중치에서 파생된 모든 결과물에 적용됩니다. Llama의 명명 규칙은 파생 모델 이름에도 적용됩니다. 비상업적 라이선스는 자체 데이터를 학습시킨 후에도 여전히 비상업적 라이선스로 유지됩니다. 기본 가중치가 포함되어 있기 때문입니다. 위 체크박스를 사용하여 Apache 및 MIT 라이선스로 필터링하는 것이 이러한 복잡한 문제를 피하는 가장 빠른 방법이며, 여전히 39개의 모델을 선택할 수 있습니다. 이 내용은 법률 자문이 아니며, 라이선스 열은 참고용 요약이므로 원문을 한 번 읽어보는 것이 좋습니다.

용도별로 분류한 주요 모델군

여기에는 14개 연구소의 모델이 포함되어 있지만, 올바른 결정을 내리기 위해 필요한 모델군은 약 6개 정도입니다. 아래 VRAM 수치는 테이블 기본값과 동일한 4K context 기준 Q4_K_M 설정입니다.

코딩

21.7 GB 용량의 Qwen2.5 Coder 32B는 단일 24GB GPU에 탑재 가능한 가장 강력한 허용적 라이선스 코딩 모델이며, 5.5 GB 용량의 7B 모델은 지연 시간이 중요한 인라인 코드 완성 작업의 표준 선택지입니다. 15.7 GB 용량의 Devstral Small 24B는 단일 함수 완성이 아닌 다중 파일 에이전트 편집에 최적화되어 있습니다. DeepSeek Coder V2 Lite는 15.7B 파라미터 중 2.4B만 활성화하여 속도를 극대화한 옵션입니다. Codestral 22B는 성능은 우수하지만 비상업적 라이선스이므로 대부분의 상용 제품에는 부적합합니다. 워크스테이션급 이상의 환경에서는 DeepSeek V3와 Kimi K2가 본격적인 오픈 코딩 모델로 사용되며, 둘 다 서버급 사양이 필요합니다.

추론

21.7 GB 용량의 QwQ 32B는 단일 소비자용 GPU에서 장문 추론을 실용화한 최초의 오픈 모델입니다. DeepSeek R1 증류 모델들은 7B, 14B, 32B, 70B 크기로 MIT 라이선스를 제공하며, 이는 해당 클래스에서 매우 이례적인 혜택입니다. Qwen3 덴스 라인업은 요청별로 추론 기능을 켜고 끌 수 있어 하나의 모델로 두 모드를 모두 지원합니다. gpt-oss 20B와 120B는 추론 중심 모델이며 Apache 2.0 라이선스를 따릅니다. 10.5 GB 용량의 Phi-4 14B는 수학 분야에서 체급 이상의 성능을 보여주지만 16K context 제한이 있어 2026년 기준으로는 다소 짧습니다.

긴 context

Llama 4 Scout는 10M 토큰 윈도우로 이례적이며, Llama 4 Maverick은 1M을 제공합니다. DeepSeek R1과 V3는 163,840개의 토큰을 수용하며, 대부분의 현대 모델 카탈로그는 131,072로 수렴합니다. 중요한 것은 목록에 없는 것: Gemma 2 전체는 8,192 토큰에서 멈추고, Phi-4는 16,384, TinyLlama는 2,048입니다. 긴 문서를 입력할 때는 먼저 context 열을 확인하세요. 윈도우가 입력을 수용하지 않으면 품질이 아무리 좋아도 소용없습니다.

비전

여기 6개의 모델이 이미지 인식을 지원합니다. 5.9 GB 용량의 Qwen2.5-VL 7B는 문서, 스크린샷, 차트 처리에 적합한 소형 모델입니다. Gemma 3는 4B, 12B, 27B 크기의 비전 모델을 제공하며 모두 Gemma 약관을 따릅니다. 특히 3.5 GB 용량의 4B 모델은 메모리 효율성이 뛰어납니다. Llama 4 Scout와 Maverick은 네이티브 멀티모달 모델이지만 높은 하드웨어 사양을 요구합니다. 이미지 token도 텍스트와 동일한 context 예산을 소모하므로, 비전 작업 시 페이지 수보다 훨씬 빠르게 윈도우가 소진된다는 점을 유의하십시오.

다국어 및 검색

8.8 GB 용량의 Mistral Nemo 12B는 Llama 시리즈보다 비영어권 텍스트를 더 효율적으로 처리하는 토크나이저를 사용하여 더 높은 품질과 적은 문장당 token 수를 보여줍니다. GLM-4 9B는 중국어와 영어 처리에 강점이 있습니다. 인라인 인용을 포함한 RAG(검색 증강 생성) 작업에서는 Command R과 Command R+가 여전히 표준으로 꼽히지만, 둘 다 비상업적 라이선스라는 점과 Command R이 full multi-head attention을 사용하여 긴 context 검색 작업 시 비용이 매우 높다는 점을 주의해야 합니다.

엣지 및 임베디드

13개의 모델이 엣지 태그를 달고 있습니다. Qwen2.5 0.5B(약 1.0 GB), Qwen3 0.6B(약 1.6 GB), TinyLlama 1.1B(약 1.4 GB), SmolLM2 1.7B(약 2.5 GB) 모델들은 스마트폰, 브라우저 탭, 또는 가속기가 장착된 Raspberry Pi에서 구동 가능합니다. 3.5 GB 용량의 Phi-4 mini 3.8B와 3.1 GB 용량의 Llama 3.2 3B는 해당 카테고리에서 실질적인 성능 상한선이며, 지시 이행 능력이 신뢰할 만한 수준에 도달하는 지점입니다.

벤치마크 결과를 회의적으로 읽는 법

모든 신규 모델 발표에는 해당 모델이 우위를 점하는 표가 포함되어 있습니다. 이는 부정직한 것이 아니라 선택적인 것입니다. 결과가 나온 후에 표를 구성하면서 모델에 불리한 항목은 조용히 제외하기 때문입니다. 벤치마크 수치에 따라 결정을 내리기 전에 다음 사항들을 확인하십시오.

• 데이터 오염. 공개 벤치마크는 시간이 지나면서 학습 데이터셋에 포함되기 마련이며, 오래된 벤치마크일수록 모델이 이를 암기했을 가능성이 높습니다. 오래된 테스트셋에서 높은 점수를 받는 것보다 지난달에 출시된 테스트셋에서 중간 정도의 점수를 받는 것이 더 신뢰할 만한 증거입니다.
• 비교 시점. 폐쇄형 모델은 계속 업데이트됩니다. 최신 모델을 능가한다는 주장은 보통 특정 월의 특정 버전을 기준으로 하며, 발표 시점에는 이미 그 버전이 구형이 되었을 수 있습니다.
• Token 예산. 추론 모델은 답변하기 전에 수천 개의 숨겨진 token을 사용할 수 있습니다. 한 모델은 충분히 고민할 시간을 주고 다른 모델은 그렇지 않았다면, 그 비교는 실력이 아닌 비용 소모량을 측정하는 것과 같습니다.
• 프롬프트 형식 및 샘플링. 동일한 모델이라도 챗 템플릿, 시스템 프롬프트, temperature, 답변 파싱 방식에 따라 벤치마크 점수가 크게 달라질 수 있습니다. 보고된 수치에서 이 네 가지를 모두 공개하는 경우는 드뭅니다.
• 집계 방식. 단일 평균 수치는 어떤 카테고리에서 변화가 있었는지 숨깁니다. 수학 점수는 올랐지만 지시 이행 능력이 떨어진 모델은 평균 점수가 동일하더라도 실제 사용 환경에서는 더 나쁜 성능을 보일 수 있습니다.
• Pass at one과 best of many. 여러 번 샘플링하여 가장 좋은 답변을 선택하는 방식은 코딩 점수를 크게 부풀리며, 실제 애플리케이션 환경과는 거리가 멉니다.

이 모든 것을 대체할 수 있는 가장 확실하고 실용적인 방법은 다음과 같습니다. 실제 업무 사례 30~50개를 수집하고, 좋은 답변의 기준을 정의한 뒤 직접 모델을 평가하는 것입니다. 오후 반나절이면 충분하며, 어떤 모델이 새로 출시되든 유효합니다. 또한 '공개 시험'이 아닌 '내 업무'에 적합한 모델인지 확인하는 유일한 방법입니다.

리더보드가 아닌 작업에 맞는 모델을 선택하십시오

대부분의 프로덕션 언어 모델 작업은 거대 모델을 필요로 하지 않습니다. 3B~8B 범위의 모델들(Llama 3.2 3B, Gemma 3 4B, Qwen3 4B, Qwen2.5 7B 등)로도 충분히 처리 가능하며, 이들은 모두 8GB GPU에서 context를 위한 여유 공간을 확보하며 구동됩니다.

• 분류 및 라우팅: 고객 문의 티켓을 6개의 큐 중 어디로 보낼지, 또는 상담원 연결이 필요한지 결정하는 작업.
• 고정 스키마로 추출: 반정형 문서에서 날짜, 금액, 당사자 이름, 식별자 등을 추출하는 작업.
• 재형식화: 메모를 템플릿으로 변환, 마크업 형식 간 변환, 주소 정규화 작업.
• 단문 요약: 소스 문서가 주어졌을 때 판단보다는 압축이 목적인 한 페이지 분량의 한 문단 요약.
• 태깅 및 메타데이터: 제목, 키워드, 감정 분석, 언어 감지, 콘텐츠 경고 생성.
• 검색을 위한 쿼리 재작성 및 더 큰 모델로 넘기기 전 검색된 문단들의 순위 재조정(reranking).

모델의 크기가 중요한 작업들은 다릅니다. 전체 아키텍처를 이해해야 하는 다중 파일 코드 수정, 의도 파악이 필요한 모호한 지시, 서로 상충하는 긴 문서들의 종합, 복잡한 단계의 수학 문제, 초기 실수가 20번의 턴 동안 누적되는 에이전트 루프 등이 이에 해당합니다. 귀하의 작업이 이 목록에 없다면, 더 큰 모델에 투자하는 비용은 품질이 아닌 지연 시간만 늘리는 결과가 될 것입니다.

실무에서 가장 강력한 아키텍처는 혼합형입니다. 일상적인 작업은 소형 모델이 처리하고, 확신이 없는 경우에만 대형 모델로 넘기는 방식입니다. 이 전환율은 보통 몇 퍼센트 수준이며, 이 차이가 단일 GPU로 가능한 작업과 그렇지 않은 작업을 결정짓습니다.

로컬 실행인가, 호스팅 API 호출인가?

이 페이지의 모든 모델은 다운로드할 수 있으며, 이 게이트웨이를 포함한 여러 호스팅 엔드포인트로도 이용 가능합니다. 선택의 기준은 이념보다는 현재 부족한 리소스가 무엇인지에 달려 있습니다.

데이터를 외부로 반출할 수 없거나, 모델 동작이 변하지 않도록 가중치를 고정해야 하거나, 오프라인 또는 불안정한 네트워크 환경에서 작업하거나, 이미 보유한 GPU로 꾸준히 대량의 트래픽을 처리하거나, 파인튜닝이 필요한 경우에는 로컬에서 실행하십시오. 로컬 추론은 API에서 제공하지 않는 raw logits, 문법 기반 제약 디코딩, 커스텀 샘플링, speculative decoding 등의 기능을 제공합니다.

트래픽이 급증할 때, 원하는 모델이 구매 가능한 메모리보다 클 때, 몇 주마다 모델을 교체할 예정이거나 팀 내 아무도 추론 서버를 운영하고 싶지 않을 때 호스팅 엔드포인트를 호출하세요. 카탈로그는 메모리 문제를 뚜렷하게 보여줍니다: 63개 모델 중 44개가 24GB 카드에 맞지만, DeepSeek R1(410GB)과 Kimi K2(611GB)는 다중 노드 배포이며, 이 두 그룹 사이의 차이는 clever하다고 넘어갈 수 있는 수준이 아닙니다.

경제는 보통 요율보다는 활용도에 의해 결정됩니다. 10% duty cycle로 동작하는 카드는 하드웨어가 아무리 저렴하더라도 유용한 토큰당 비용이 비싸집니다. 왜냐하면 모든 비용을 지불했기 때문입니다. 지속적으로 동작하는 카드는 가격 면에서 쉽게 이길 수 없습니다. 무언가를 구매하기 전에 하루 토큰 수를 솔직히 추정하세요. 대부분의 사이드 프로젝트와 내부 도구에 대한 솔직한 답은 무료 또는 저렴한 호스팅 엔드포인트가 쉽게 이긴다는 것입니다.

사람들이 실제로 묻는 질문

오픈 가중치 모델은 어떻게 선택하나요?

제약 조건을 가장 어려운 것부터 정렬하세요. 파라미터가 아닌 기가바이트 단위로 메모리 예산을 설정하고, 후보를 줄이기 전에 실제로 필요한 context 길이를 결정한 다음 라이선스로 필터링하고, 마지막으로 성능으로 필터링하세요. 여기 63개 모델 중 44개가 Q4_K_M에서 4K context로 24GB 안에 맞고, 8GB 안에는 24개만 맞습니다. 예산 단계만으로도 목록이 절반으로 줄어듭니다. 마지막으로 실제 작업의 30~50개 예제로 세 가지 후보를 테스트하세요.

혼합 전문가 모델에서 활성 파라미터는 무엇을 의미하나요?

총 파라미터는 필요한 메모리를 결정합니다. 모든 가중치가 상주해야 하기 때문입니다. 활성 파라미터는 실행 속도를 결정합니다. 하나의 토큰을 생성할 때 토큰이 라우팅하는 전문가만 읽기 때문입니다. Qwen3 30B-A3B은 30.5B 파라미터를 보유하지만 토큰당 3.3B만 활성화되어 Q4_K_M에서 약 19.7GB를 차지하면서 3B 모델 정도의 속도로 디코딩합니다.

혼합 전문가 모델이 밀집 모델보다 실행 비용이 저렴한가요?

계산과 시간 면에서 저렴하지, 메모리 면에서는 그렇지 않습니다. VRAM이 제약 조건이라면 MoE는 가치가 떨어집니다. 모든 전문가를 지불하고 일부만 사용하기 때문입니다. 메모리가 충분하고 처리량을 원한다면 훌륭합니다. gpt-oss 120B은 Q4_K_M에서 약 72GB가 필요하지만 토큰당 5.1B 파라미터만 읽습니다.

허가 없이 상업적으로 사용할 수 있는 오픈 가중치 모델은 quais인가요?

Apache 2.0과 MIT 라이선스 모델입니다. 이 카탈로그에서는 63개 모델 중 39개가 해당되며, Qwen3 전체 라인, Qwen2.5 Coder, QwQ 32B, Mistral Small 24B, Devstral, Mixtral 모델, gpt-oss 20B 및 120B, DeepSeek R1 및 V3, R1 distill, Phi-4, GLM-4.5 Air가 포함됩니다. 나머지 24개는 저작자 표시부터 상업 사용 금지까지 다양한 조건이 있습니다.

Llama 커뮤니티 라이선스는 상업용 라이선스인가요?

상업적 사용을 허용하지만 오픈소스 라이선스는 아닙니다. 무료 사용을 월 7억 명의 활성 사용자로 제한하고, 'Built with Llama' 표시와 파생 모델 이름에 Llama 이름을 포함하도록 요구하며, 허용 사용 정책을 첨부합니다. 대부분의 팀에게는 문제가 없지만 계약이므로 제품을 구축하기 전에 읽어보세요.

Command R 또는 Command R+를 상업 제품에서 사용할 수 있나요?

릴리스된 가중치로는 사용할 수 없습니다. 여기 Cohere 모델들은 모두 CC-BY-NC로 비상업용입니다. 우수한 검색 및 인용 모델이며 연구나 평가는 문제없지만, 유료 또는 수익 창출 제품에 포함하려면 Cohere와 별도 계약을 체결해야 합니다.

같은 모델이 128K context에서 훨씬 더 많은 VRAM이 필요한 이유는 무엇인가요?

KV 캐시는 context에 따라 선형으로 증가하며, 그 정도는 attention geometry에 따라 다릅니다. Command R 35B은 전체 멀티 헤드 attention을 사용해 4K에서 27.4GB, 128K에서 194.8GB로 증가합니다. 그룹화된 쿼리 attention을 사용하는 Qwen3 32B은 21.7GB에서 55.2GB로 증가합니다. 6개 레이어 중 5개에서 슬라이딩 윈도우를 사용하는 Gemma 3 27B은 18.1GB에서 28.6GB로만 증가합니다.

아직도 실용적인 가장 작은 오픈 모델은 무엇인가요?

분류, 라우팅, 고정 스키마로 추출 및 재포맷에는 3B~4B 범위의 모델이 이미 안정적입니다. Llama 3.2 3B은 Q4_K_M에서 약 3.1GB, Gemma 3 4B은 약 3.5GB, Qwen3 4B은 약 3.7GB가 필요해 세 모델 모두 8GB 카드에서 실질적인 context 여유와 함께 실행됩니다. 약 2B 이하에서는 모델이 유창하게 쓰지만 다단계 지시를 신뢰성 있게 따르지 못합니다.

추론 모델이 필요한가요?

단계별 검증 가능한 문제(수학, 알고리즘 코드, 제약 조건 퍼즐, 다중 단계 분석)에만 사용하세요. 추론 모델은 답변 전에 많은 수의 숨은 토큰을 사용하므로 지연 시간이 길어지고 모든 요청에서 생성되는 토큰 수가 많아집니다. 추출, 요약, 재작성 및 채팅에는 동일한 크기의 비추론 모델이 일반적으로 더 빠르고 손색이 없습니다.

코딩에 가장 적합한 오픈 가중치 모델은 무엇입니까?

단일 24GB GPU 기준, 약 21.7GB를 차지하는 Qwen2.5 Coder 32B가 가장 강력한 라이선스 허용 옵션입니다. 약 15.7GB인 Devstral Small 24B는 단일 완성보다는 에이전트식 다중 파일 편집에 최적화되어 있습니다. 빠른 인라인 완성에는 Qwen2.5 Coder 7B 또는 15.7B 매개변수 중 2.4B만 활성화되는 DeepSeek Coder V2 Lite를 사용하세요. 최고 성능 모델인 DeepSeek V3와 Kimi K2는 훨씬 강력하지만 수백 GB의 메모리가 필요합니다.

광고된 긴 문맥 길이가 모델이 잘 활용한다는 의미입니까?

아니요. 문맥 길이는 공개된 가중치가 수용하는 길이일 뿐, 품질이 유지되는 길이는 아닙니다. Llama 4 Scout는 10M 토큰을 광고하고 대부분의 최신 모델은 128K를 표기하지만, 검색 정확도는 일반적으로 명시된 최대치 이전에 떨어집니다. 이 숫자를 절대적 한도로 간주하고 사용할 계획인 길이에서 실제 성능을 측정하세요.

모델 출시 게시물의 벤치마크 표를 신뢰해야 합니까?

실제 숫자가 포함된 마케팅 자료로 간주하세요. 출시 표는 사후에 선택되며 비교 모델은 종종 오래된 스냅샷이고, 프롬프트 형식과 샘플링 설정이 행마다 다릅니다. 또한 인기 벤치마크는随着时间的推移 훈련 데이터에 유출됩니다. 선택을 결정해야 하는 숫자는 자신의 워크로드 30~50개 예제에 대한 점수입니다.

4비트로 양자화하면 품질 손실은 얼마나 됩니까?

큰 모델에서는 대부분의 예상보다 적고 작은 모델에서는 더 많습니다. Q8_0은 원본 가중치와 사실상 구별할 수 없습니다. Q4_K_M은 약 13B 이상의 모델에서 미미한 손실을 일으키며, 1B~3B 모델에서는 여유 중복이 적어 눈에 띄는 손실을 발생시킵니다. 4비트 이하(Q3, Q2)에서 품질 저하는 현실적입니다. 참고: gpt-oss는 기본적으로 MXFP4로 제공되므로 4비트는 압축 단계가 아닌 공개 정밀도로 제공됩니다.

호스팅된 API를 호출하는 대신 언제 로컬에서 모델을 실행해야 합니까?

데이터를 기기 밖으로 내보낼 수 없을 때, 가중치를 고정해 동작이 절대 바뀌지 않게 해야 할 때, 오프라인일 때, 또는 이미 보유한 GPU에서 지속적인 대용량 트래픽이 발생할 때 로컬에서 실행하세요. 트래픽이 불규칙할 때, 원하는 모델이 보유 메모리보다 클 때, 또는 모델을 자주 전환하고 싶을 때는 호스팅된 API를 호출하세요. 하루 종일 유휴 상태인 24GB 카드는 유용한 토큰당 비용이 어떤 API보다도 비쌉니다.