GPU 찾기

표의 산출 근거

연산 능력이 아닌 메모리 대역폭이 초당 토큰 수를 결정하는 이유

토큰 하나를 생성하려면 모델의 모든 활성 가중치와 전체 key-value cache를 메모리에서 읽고, 각 값에 대해 소량의 연산을 수행한 뒤 거의 아무것도 쓰지 않아야 합니다. 연산은 다음 가중치 배치가 도착하기 훨씬 전에 끝납니다. 이것이 연산 능력은 뛰어나지만 메모리 대역폭이 낮은 카드가 단일 채팅 스트림에서 느리게 느껴지는 이유이며, 위 표의 속도 열이 teraflops가 아닌 대역폭에서 도출된 이유입니다.

계산은 암산으로도 충분히 가능합니다. 메모리 대역폭을 모델이 토큰당 읽는 바이트 수로 나누면 디코딩 속도의 상한선이 나옵니다. Llama 3.1 8B(Q4_K_M)는 8K context에서 약 4.5GB의 가중치와 약 1GB의 cache를 차지합니다. RTX 5080은 초당 960GB를 처리하므로 이론적으로는 초당 수백 개의 토큰을 생성할 수 있습니다. 실제 런타임에서는 최대치의 약 4분의 3 정도에 도달하며, 여기서 초당 121개 토큰이라는 추정치가 나옵니다.

이를 가장 명확하게 확인하는 방법은 용량을 일정하게 유지하는 것입니다. 아래의 모든 카드는 정확히 16GB이므로, 모두 동일한 8B 모델을 동일한 quantization으로 여유 있게 수용합니다. 변하는 것은 메모리가 칩에 데이터를 공급하는 속도뿐입니다.

동일한 용량에서도 성능 차이가 3배 이상 나며, 가격이 성능과 비례하지 않습니다. RTX 5070 Ti는 RTX 4080 Super보다 저렴하면서도 약 20% 더 빠릅니다. RTX 4060 Ti는 Arc A770보다 비싸지만 초당 토큰 생성량은 절반에 불과합니다. 이 페이지에서 한 가지 교훈을 얻는다면, 가격 열보다 대역폭 열을 먼저 확인하십시오.

한 가지 솔직한 주의사항이 있습니다. 대역폭은 화면에 스트리밍되는 디코딩 과정을 결정합니다. 프롬프트를 읽는 것은 다른 작업입니다. 모델은 모든 입력 토큰을 병렬로 처리하며, 이는 연산 처리량에 의해 제한되는 dense matrix multiply로 변환됩니다. 연산 능력은 낮지만 대역폭이 충분한 카드는 매우 긴 문서에 대해 답변을 시작할 때는 느리지만, 시작 후에는 빠르게 스트리밍합니다. 작업 부하가 주로 긴 프롬프트와 짧은 답변으로 구성되어 있다면, 고려 사항은 다시 원시 연산 능력으로 돌아갑니다.

비교 예시: 하나의 모델, 6개의 카드

Qwen3 14B(Q4_K_M, 8K context)는 가중치, cache, 런타임 오버헤드를 포함하여 약 11.0GB가 필요합니다. 이는 미드레인지 빌드에서 까다롭지만 현실적인 목표이며, 카드 간의 성능 차이를 잘 보여줍니다.

표에서 세 가지 사실을 알 수 있습니다. RTX 3060은 기술적으로 모델을 수용하지만 0.2GB의 여유밖에 없어 긴 대화가 시작되면 한계치를 초과하여 더 짧은 context로 다시 로드해야 합니다. RTX 4060 Ti는 여유 있게 수용하지만 이 그룹에서 가장 느린 카드인데, 이는 넉넉한 용량에 비해 메모리 버스가 가장 좁기 때문입니다. 약 700달러의 중고 RTX 3090은 새 RTX 5070 Ti와 속도는 비슷하면서도 7.4GB 더 많은 가용 메모리를 제공하며, 이는 14B 모델과 24B 모델을 실행하는 차이를 만듭니다.

24GB의 한계와 대응 전략

24GB 카드는 24GB라고 광고하지만, 드라이버, CUDA context, 할당자 파편화 등을 제외하면 실제 런타임에서는 약 22.3GB를 제공합니다. Qwen3 32B(Q4_K_M, 8K context)는 18.5GB의 가중치, 2.0GB의 cache, 나머지 오버헤드를 포함해 22.8GB가 필요합니다. 0.5GB가 부족한 셈입니다. 이는 로컬 추론에서 가장 흔히 겪는 실망스러운 상황이며, 이를 해결하는 세 가지 방법을 이해할 필요가 있습니다.

context를 줄일 수 있습니다. 4K에서는 동일 모델이 21.7GB를 필요로 하며, 이 도구는 이를 '불가능'이 아닌 '여유 없음'으로 표시합니다. 정밀도를 낮출 수도 있습니다. Q3_K_M은 18.9GB로 줄여 RTX 4090에서 초당 약 42개의 토큰을 생성할 수 있게 합니다. 이는 복잡한 추론에서는 품질 저하가 느껴지지만 요약 작업에서는 거의 느껴지지 않습니다. 아니면 더 높은 용량의 카드를 구매할 수도 있습니다. RTX 5090은 29.8GB의 가용 메모리를 제공하여 Q4 모델을 32K context로 실행하고 초당 약 61개의 토큰을 생성합니다.

일반적인 교훈은 용량 등급은 경사면이 아니라 절벽과 같다는 것입니다. 가용 메모리 22.3GB와 29.8GB 사이에는 아무것도 없으므로, 0.5GB가 부족한 모델이나 5GB가 부족한 모델이나 결과는 같습니다. 카드를 구매할 때는 실제로 사용할 context 길이에서 필요한 용량을 계산하고, 약 20%를 더한 뒤에 카드를 선택하십시오.

Mixture-of-experts 모델이 구매 목록을 바꿉니다

Dense 모델은 모든 토큰에 대해 모든 가중치를 읽습니다. Mixture-of-experts 모델은 여러 전문가를 저장하고 각 토큰을 그중 일부로만 라우팅하므로, 토큰당 읽는 메모리가 점유하는 메모리보다 훨씬 작습니다. 이는 구매 시 고려해야 할 두 가지 요소를 분리합니다. 용량은 전체 파라미터에 의해 결정되고, 속도는 활성 파라미터에 의해 결정됩니다.

gpt-oss 120B가 가장 명확한 예입니다. 기본 MXFP4 형식에서 8K context 사용 시 약 63.4GB가 필요하여 단일 소비자용 카드를 훨씬 능가하지만, 토큰당 활성 파라미터는 5.1B에 불과합니다. 1792 GB/s의 RTX PRO 6000 Blackwell에서 초당 약 446개의 토큰을 생성할 것으로 예상됩니다. Llama 3.3 70B(Q4)는 디스크 용량이 46.4GB로 더 작지만, 매번 70.6B 파라미터 전체를 읽어야 하므로 같은 카드에서 초당 약 30개의 토큰을 생성합니다. 용량은 더 작지만 속도는 15배 더 느립니다.

같은 방식이 하위 모델에도 적용됩니다. Qwen3 30B-A3B는 Q4, 8K context에서 20.1GB가 필요하여 RTX 4090에 적합하며, 활성 파라미터는 3.3B에 불과해 초당 약 269개의 토큰을 생성합니다. 같은 카드에서 Dense Qwen3 32B는 아예 실행되지 않습니다. 예산 내에서 용량을 확보해야 한다면, Mixture-of-experts 모델은 적당한 하드웨어에서 대형 모델의 성능을 얻는 가장 저렴한 방법이며, Mac처럼 느리지만 용량이 큰 기기가 매우 유용한 유일한 사례입니다.

신품, 중고, 또는 대여

중고 시장은 이 목록에서 가장 가성비가 좋은 곳입니다. 약 700달러의 RTX 3090은 936 GB/s와 24GB를 제공하여 달러당 1.34 GB/s의 효율을 냅니다. 약 1,600달러의 새 RTX 4090은 1008 GB/s를 제공하여 달러당 0.63 GB/s의 효율을 냅니다. 보증, 낮은 전력 소모, 최신 숫자 형식 지원을 위해 속도를 결정하는 요소에 대해 2.5배의 비용을 지불하는 셈입니다. 이는 실질적인 거래이지만, 업그레이드라기보다는 교환에 가깝습니다.

대여는 구매를 결정할 때 비교해야 할 정직한 기준점입니다. 손익분기점은 계산하기 쉽습니다. 구매 가격을 시간당 대여료로 나누면 소유하는 것이 더 저렴해지기까지 필요한 사용 시간이 나옵니다. 700달러짜리 중고 RTX 3090은 시간당 0.5달러에 대여하는 카드와 비교했을 때 1,400시간 후에 본전을 뽑습니다. 하루에 2시간씩 사용한다면 거의 2년이 걸리며, 그때쯤이면 카드는 구형이 되고 실행하려던 모델은 두 번이나 교체되었을 것입니다.

전기료도 계산에 포함해야 합니다. 부하 상태에서 하루 8시간 동안 450와트를 소비하는 카드는 3.6kWh를 사용합니다. kWh당 20센트라면 연간 약 263달러이며, 냉방이 필요하다면 비용은 더 늘어납니다. 본인의 요금제로 대입하되, 이 항목을 빼놓지 마십시오.

알아둘 만한 진정한 무료 티어도 있습니다. 무료 Colab 노트북에서 제공하는 T4는 16GB와 320 GB/s를 제공하며, 8B 모델에서 초당 약 40개의 토큰을 생성합니다. 무료 Kaggle 세션의 P100은 동일한 16GB에 732 GB/s를 제공하여 초당 약 92개의 토큰을 생성하며, 이는 449달러짜리 RTX 4060 Ti보다 훨씬 앞선 성능입니다. 둘 다 워크스테이션은 아니며 세션 제한이 있지만, 모델이 하드웨어를 구매할 가치가 있는지 확인하는 데는 매우 훌륭합니다.

소비자용, 워크스테이션용, 또는 데이터센터용

전문용 그래픽 카드의 가격 프리미엄은 네 가지를 구매합니다: 한 보드에 더 많은 메모리, ECC 보호, 밀집 랙을 위한 냉각, 데이터센터 배포를 허용하는 라이선스. 이는 비례적으로 더 많은 대역폭을 구매하지 않으며, 이는 실제로 토큰 속도를 결정하는 것입니다.

마지막 두 열을 함께 읽으세요. RTX PRO 6000 Blackwell은 대역폭에서 RTX 5090과 일치하며, 1GB당 $89에 하나의 슬롯에 세 배의 메모리를 제공합니다. 이는 사용된 4개의 RTX 3090당 $29에 비하면 비싸지만, 단일 카드는 4카드 리그에 비해 약 30토큰/초로 Llama 3.3 70B를 실행하며, 4개의 PCIe 슬롯 대신 1개의 슬롯을 필요로 하고 전용 회로가 필요하지 않습니다. H100은 1GB당 $338로, 대역폭의 이점이 일괄 처리보다는 한 대화에 더 잘 사용되기 때문에 여러 사용자가 동시에 머신을 사용할 때만 가치가 있습니다.

데이터센터 배지 자체에 의심하세요. L4는 24GB당 $2,500에 300 GB/s로 설계되었으며, 저전력 및 고밀도를 위해 설계되었으며, 빠른 단일 스트림 디코딩을 위해 설계되지 않았습니다. 8B 모델에서는 약 38토큰/초로 추정되며, 이는 사용된 $700 RTX 3090의 약 1/3에 불과합니다. 이는 75W 슬롯이 필요한 랙에서 우수한 카드이며, 책상에서는 나쁜 카드입니다.

여러 GPU가 실제로 제공하는 것

모델을 카드 간에 분할하는 기본 방법은 레이어별입니다: 첫 번째 카드는 레이어 1부터 20까지를 보유하고, 두 번째 카드는 나머지를 보유하며, 숨겨진 상태는 토큰당 카드 경계마다 버스를 통해 전달됩니다. 이 핸드오프는 수백 킬로바이트이므로, 4레인에서 실행되는 슬롯은 일반적으로 충분하며, PCIe 대역폭은 사람들이 예상하는 병목 현상이 거의 없습니다. 용량은 깔끔하게 추가됩니다.

속도는 아닙니다. 레이어 분할 시 다른 카드는 차례를 기다리는 동안 하나의 카드만 계산하므로, 단일 대화는 동기화 비용을 뺀 하나의 카드의 대역폭을 보게 됩니다. 이 페이지의 추정치는 이를 반영합니다: 하나의 RTX 4090에서 8B 모델은 약 127토큰/초에 도달하며, 두 개의 RTX 4090에서 동일한 모델은 약 102토큰/초에 도달합니다. 카드를 추가하면 한 사용자가 느려집니다. 이는 추가 메모리로 이전에 실행할 수 없었던 것을 실행할 수 있거나, 동시에 여러 사용자가 두 카드를 바쁘게 할 때만 가치가 있습니다.

텐서 병렬성은 대안입니다: 모든 레이어가 모든 카드에 걸쳐 분할되어 함께 계산되므로 단일 스트림 속도가 향상됩니다. 또한 모든 경계가 아닌 모든 레이어에서 활성화를 교환하므로 빠른 인터커넥트를 원하며, 주의 헤드를 균등하게 나누는 카드 수를 일반적으로 원합니다. NVLink이 없는 소비자 보드에서는 종종 실망스럽습니다. 용량 산술도 주의하세요: 두 카드 RTX 4090 설정의 48GB는 약 43.2GB로 사용 가능하며, 이는 Q4 및 8K 컨텍스트에서 Llama 3.3 70B에 충분하지 않습니다. 이는 46.4GB가 필요하기 때문입니다.

Apple 실리콘: 달러당 용량, 대역폭 가격

통합 메모리는 CPU와 GPU가 하나의 풀을 공유한다는 의미이므로, Mac은 소비자 그래픽 카드보다 모델에 더 많은 메모리를 할당할 수 있습니다. 512GB Mac Studio는 약 1GB당 $19로 이 목록에서 가장 저렴한 용량이며, 192GB Mac Studio는 약 1GB당 $29입니다. 이에 대해 기본 할당 한도는 설치된 메모리의 약 3/4를 런타임에 제공하므로, 스티커 가격 대신 384GB와 144GB를 계획하세요.

대역폭이 문제이며, 범위 전체에서 크게 달라집니다. Mac mini M4는 120 GB/s로, 8B 모델에서는 약 13토큰/초입니다. M4 Pro가 장착된 MacBook Pro는 273 GB/s로, RTX 4090은 약 43토큰/초를 제공하며, Gemma 3 27B에서는 약 10토큰/초를 제공합니다. M4 Max는 546 GB/s에 도달하며, M2 Ultra는 800 GB/s에 도달하여 마침내 좋은 데스크톱 카드의 범위에 들어갑니다. 따라서 거래의 모양은 다음과 같습니다: GPU에 이미 맞는 모델의 속도가 아닌, 예산 내에서 아무것도 보유할 수 없는 모델을 위해 Mac을 구매하세요.

두 가지 실용적인 참고 사항. 프롬프트 처리에는 병렬 프리필 패스에 사용할 수 있는 컴퓨팅이 디스크리트 GPU보다 크게 뒤처져 있어, 이후 스트리밍이 괜찮아 보이더라도 긴 문서를 소화하는 데 눈에 띄게 오래 걸립니다. 용량은 여전히 유한합니다: Q4의 DeepSeek R1은 약 410GB가 필요하며, 이는 512GB Mac Studio가 실제로 제공하는 384GB를 초과합니다. Mixture-of-experts 모델은 이 하드웨어가 빛나는 곳이며, 대역폭이 아닌 용량을 요구하기 때문입니다.

AMD 및 Intel, 솔직히

종이상으로는 NVIDIA가 아닌 옵션이 강해 보입니다. Radeon RX 7900 XTX는 약 $900에 24GB와 960 GB/s를 제공하며, 이는 사용된 RTX 3090보다 약간 더 많은 금액에 더 많은 대역폭을 제공합니다. Arc A770은 약 $280에 560 GB/s와 16GB를 제공하며, 이는 1달러당 2.00 GB/s로 이 데이터셋의 모든 카드 중 가장 좋은 비율입니다. Instinct MI300X는 약 $15,000에 192GB와 5300 GB/s를 제공하며, 이는 H100보다 절반 가격에 더 많은 메모리와 더 많은 대역폭을 제공합니다.

차이는 소프트웨어이며, 완전히 닫히지는 않았지만 상당히 좁혀졌습니다. llama.cpp로 구축된 모든 것은 ROCm, Vulkan 또는 SYCL을 통해 두 공급업체에서 잘 실행되므로, 일반적인 채팅 및 완료 워크로드는 괜찮습니다. 마찰은 가장자리에 나타납니다: 새로운 양자화 형식은 일반적으로 CUDA 커널로 먼저 제공되며, 일부 주의 구현 및 추측 디코딩 경로는 몇 달 동안 CUDA 전용입니다. 훈련 및 미세 조정 스택은 추론 스택보다 훨씬 더 NVIDIA를 가정하며, 포럼의 참조 답변은 CUDA를 가정합니다. 그 비용은 시간보다 돈을 예산하세요.

합리적인 규칙: 메인스트림 런타임으로 출시된 모델을 실행하고, 실험을 즐긴다면 AMD 및 Intel은 좋은 가치입니다. 작업이 연구 기술을 게시된 주에 채택할 수 있는 것에 의존하거나, 제공뿐만 아니라 미세 조정이 필요한 경우 CUDA 세금은 실제 가치를 구매합니다.

전력, 열, 소음 및 나머지 머신

사람들이 실제로 구매하는 카드의 보드 전력은 RTX 3090의 약 350와트에서 RTX 4090의 450와트, RTX 5090의 575와트로 측정됩니다. 데스크톱의 나머지 부분에 대해 약 150와트를 추가하고, 전원 공급 장치를 여유 공간으로 크기 조정하세요. 이러한 카드는 등급보다 훨씬 높은 순간적인 전력 스파이크를 소비하며, 한계에 도달한 공급 장치는 쓰로틀링 대신 트립을 일으킵니다. 하나의 RTX 4090은 850와트 유닛에서 편안하며, 두 개의 RTX 3090은 1000와트 이상이 필요합니다.

멀티카드 빌드는 벽 소켓에 놀라울 정도로 빠르게 도달합니다. 시스템의 나머지 부분에 대한 4개의 RTX 3090은 전력 한계에 도달하며, 이는 표준 15암페어 120볼트 회로가 지속적으로 운반할 수 있는 양을 초과합니다. 이는 대형 홈 리그의 전력 제한이 되는 실용적인 이유이며, 좋은 소식은 전력 제한이 예상보다 저렴하다는 것입니다: 디코딩은 대역폭 제한이며, 메모리는 전체 속도로 계속 실행되며, 코어를 재고의 70%로 제한하면 일반적으로 토큰 속도의 1자리 백분율만 비용이 들며 열과 소음을 크게 줄입니다.

주문하기 전에 냉각에 대해 생각해보세요. 소비자 카드는 케이스에 열을 배출하는 오픈 에어 디자인이며, 인접한 슬롯에 쌓인 두 개의 카드는 보드가 공간을 확보하거나 라이저 케이블을 사용하지 않는 한 서로를 익힐 수 있습니다. A100, H100, L40S 및 L4와 같은 데이터센터 부품은 수동 냉각됩니다: 팬이 전혀 없고 랙 차시스의 앞뒤 폭력적인 공기 흐름에 의존합니다. 이를 일반 데스크톱에 넣는 것은 열 제한을 발견하는 잘 알려진 방법입니다. 블로어 스타일 워크스테이션 카드는 타워에서 실제로 작동하는 타협안입니다.

아직 소유하지 않은 모델을 위한 구매

가중치는 청구서의 예측 가능한 부분입니다. 캐시는 사람들이 놀라게 하는 부분으로, 컨텍스트와 선형적으로 증가하며 모델을 얼마나 잘 양자화했는지에 관계없이 증가합니다. Llama 3.1 8B는 Q4에서 8K 컨텍스트에서 6.6GB가 필요하며, 전체 128K에서 22.8GB가 필요하며, 그 중 16GB는 캐시입니다. Qwen3 32B는 8K에서 22.8GB에서 128K에서 55.2GB로 증가합니다. 모델에 전체 코드베이스를 공급하려는 경우 가중치가 아닌 캐시에 맞게 카드의 크기를 조정하세요.

아키텍처는 이를 크게 변경합니다. Gemma 3 27B는 대부분의 레이어에서 슬라이딩 윈도우 주의를 사용하므로, 131K 컨텍스트는 10.4GB의 캐시를 비용으로 지불하며, 이는 전통적인 32B 모델이 32GB를 지불하는 것과 비교됩니다. 다중 헤드 잠재 주의를 사용하는 모델(예: DeepSeek 계열)은 캐시를 더욱 압축합니다. 동일한 매개변수 수를 가진 두 모델은 긴 컨텍스트에서 크게 다른 요구 사항을 가질 수 있으므로, 가정하는 대신 실제 수치를 확인하세요.

놓친 경우 레버가 있습니다. 캐시 자체를 양자화하는 것이 가장 사용되지 않는 방법입니다: Llama 3.3 70B는 Q4와 32K 컨텍스트에서 일반 16비트 캐시로 54.5GB가 필요하며, 8비트 캐시로 49.4GB, 4비트로 46.7GB가 필요합니다. 품질 비용은 유창성보다는 장거리 회상에 부담됩니다. 여러 사람을 제공하는 것은 다시 산술을 변경합니다. 가중치는 전체 배치에 대해 단계당 한 번씩 읽히므로, 8B 모델의 8개의 동시 스트림은 6.6GB 대신 14.2GB가 필요하며, 각 스트림은 127토큰/초 대신 약 56토큰/초를 보게 되며, 머신 전체는 훨씬 더 많은 토큰을 생성합니다.

따라서 구매 체크리스트는 짧습니다. 실제로 실행할 가장 큰 모델을 결정하고, 사용할 수 있는 양자화 및 실제로 사용할 컨텍스트를 결정하세요. 런타임 및 마지막 모델보다 약간 큰 모델 릴리스에 대해 20%를 추가하세요. 해당 바를 통과하는 카드들 사이에서 달러당 대역폭을 비교하세요. 그런 다음, 돈이 이동하기 전에 호스팅된 엔드포인트를 통해 모델을 일주일 동안 실행하고 실제로 원하는지 확인하세요.