전용 서버에서 LLM을 자체 호스팅하려면 모델, 컨텍스트 길이, 활성 요청 및 응답 시간 대상의 하드웨어 크기를 조정합니다. 모델 가중치, 요청 메모리, 런타임 오버헤드, 시스템 RAM, CPU 작업 및 스토리지에 대한 예산. 성공적으로 로드되는 모델이 생산 용량 테스트가 아닌 메모리 검사를 통과했습니다.
바쁜 시간에 격차가 분명해집니다. 하나의 짧은 요청이 작동합니다. 여러 사용자가 긴 문서를 제출하고 요청 대기열이 증가하며 동일한 서버의 메모리가 부족하거나 응답하는 데 너무 오래 걸립니다.
다음 순서로 계획하여 해당 문제를 피하십시오.
- 정확한 모델 및 요청 프로파일을 정의합니다.
- 가중치 메모리와 캐시 메모리를 별도로 계산합니다.
- 전체 서버 및 지원 서비스에 대한 예산.
- 응답 시간 및 품질 목표에 대해 현실적인 트래픽을 테스트합니다.
- 통과하는 구성에 대한 전체 비용을 비교합니다.
모델로 시작하고 프로필을 요청하십시오
서버 크기 조정은 애플리케이션이 수행해야 하는 작업에서 시작됩니다. "우리 팀을 위한 LLM 실행"은 유용한 하드웨어 권장 사항을 생성하기에는 너무 광범위합니다.
서버를 비교하기 전에 다음 입력을 기록하십시오.
| 입력 | 기록할 내용 |
|---|---|
| 모델 | 정확한 이름, 개정, 아키텍처 및 라이선스 |
| 무게 형식 | FP16, BF16 또는 특정 양자화된 아티팩트 |
| 문맥 | 정상 및 최대 프롬프트 플러스 출력 토큰 개수 |
| 교통 | 활성 세대, 도착률 및 버스트 동작 |
| 공연 | 첫 번째 토큰까지의 시간 및 허용되는 완료 시간 |
| 품질 | 작업 모델이 올바르게 완료해야 합니다 |
| 기타 서비스 | 임베딩, 다시 순위 지정, 벡터 검색, API 및 모니터링 |
| 운영 | 업데이트 프로세스, 복구 요구 사항 및 성장 예비 |
컨텍스트에는 시스템 지침, 채팅 기록, 검색된 텍스트, 사용자 입력 및 생성된 출력이 포함됩니다. 응용 프로그램이 여러 문서를 추가하면 짧은 질문이 긴 모델 입력을 생성할 수 있습니다.
또한 활성 요청과 사용자를 분리합니다. 100명의 등록된 사용자가 있는 서비스는 한 번에 몇 세대만 실행될 수 있습니다. 한 사람이 사용하는 에이전트는 단일 작업 중에 여러 요청을 발행할 수 있습니다.
서빙 프로세스의 정의는 를 참조하십시오 AI 추론이 의미하는 것.
교육과 추론을 분리하십시오
이 가이드는 추론을 다룹니다. 이미 훈련된 모델을 사용하여 답변을 생성합니다. 훈련 및 미세 조정에는 방법에 따라 그라디언트, 최적화 도구 상태 및 활성화에 대한 추가 메모리가 필요할 수 있습니다.
추론 크기 표를 교육 권장 사항으로 사용하지 마십시오. 동일한 시스템이 사용자에게 서비스를 제공하고 미세 조정 작업을 실행해야 하는 경우 결합된 일정을 테스트하거나 이러한 워크로드를 분리합니다.
먼저 모델-가중치 메모리를 계산합니다
모델 가중치는 추론 중에 사용된 저장된 숫자 값입니다. 그들의 메모리 공간은 하드웨어 예산의 시작점을 제공합니다.
바이트 단위의 이상적인 가중치 메모리 = 파라미터 카운트 × 가중치당 비트 ÷ 8
16비트의 명목상 80억 파라미터 모델의 경우:
8,000,000,000 × 16 ÷ 8 = 16,000,000,000바이트 또는 16GB
가중치당 이상적인 4비트에서 동일한 계산으로 4GB가 제공됩니다.
| 명목 모델 크기 | FP16/BF16 웨이트 플로어 | 8비트 무게 바닥 | 4비트 무게 바닥 |
|---|---|---|---|
| 8b | 16기가 바이트 | 8GB | 4GB |
| 14b | 28GB | 14GB | 7GB |
| 32b | 64GB | 32GB | 16기가 바이트 |
| 70b | 140GB | 70GB | 35GB |
이 수치는 이상적인 가중치만을 다룹니다. 요청 캐시, 작업 버퍼, 양자화 메타데이터 및 기타 런타임 할당을 제외합니다. 정확한 모델은 둥근 이름이 암시하는 것보다 더 많은 매개변수를 가질 수도 있습니다.
4비트 파일이 원시 계산보다 더 많은 이유
양자화된 아티팩트는 다른 정밀도에 저장된 스케일 값, 메타데이터 및 텐서를 포함할 수 있습니다. 다운로드한 크기와 로드된 메모리 면적은 다를 수 있습니다.
정확한 아티팩트를 기록한 다음 의도한 런타임에 메모리를 로드한 후 메모리를 검사합니다. "4비트"라고 표시된 모든 형식을 상호 교환 가능한 것으로 취급하지 마십시오.
가중치 정밀도를 줄여도 요청 캐시의 정밀도가 자동으로 줄어들지는 않습니다. 별도의 호환성 및 품질 검사가 포함된 별도의 설정입니다.
MOE 가중치 계획에 총 매개변수를 사용합니다
전문가 혼합 모델 또는 MOE 모델은 각 토큰에 대한 전문가 네트워크의 일부만 활성화합니다. 이는 모든 전문가를 사용하는 것에 비해 계산을 줄일 수 있지만 다른 가중치는 여전히 배치 계획이 필요합니다.
전체 거주의 경우 활성 매개변수 수뿐만 아니라 저장된 모델에 대한 예산입니다. 전문가 오프로드 및 분산 배치는 메모리가 사용되는 위치를 변경할 수 있지만 자체 전송 및 실행 비용을 도입합니다.
GB 및 GIB를 일관되게 유지하십시오
1GB는 10억 바이트입니다. 하나의 GiB는 1,073,741,824바이트입니다. 4GB 페이로드는 약 3.73GiB입니다.
장치 예산에서 모델 메모리를 빼기 전에 값을 동일한 단위로 변환합니다. 제품 레이블과 다른 보고된 측정값을 혼합하는 대신 배포에 대해 보고된 실제 사용 가능한 메모리를 사용합니다.
KV 캐시, 컨텍스트 길이 및 동시 요청을 추가합니다
일반적으로 라고 하는 키-값 캐시입니다 KV 캐시, 모델이 텍스트를 생성하는 동안 사용된 주의 데이터를 저장합니다. 모델 가중치는 하나의 모델 인스턴스 내에서 요청 간에 공유할 수 있지만 활성 시퀀스에는 요청 상태도 필요합니다.
그렇기 때문에 로드된 모델이 변경되지 않는 경우에도 더 긴 컨텍스트와 더 많은 활성 요청이 메모리를 소비할 수 있습니다.
각 계층에서 동일한 전체 주의 레이아웃을 가진 기존 디코더의 경우 논리적 캐시 페이로드를 다음과 같이 추정합니다.
kv 바이트 ≈ 2 × 레이어 × kV 헤드 × 헤드 차원 × 캐시된 값당 바이트 × 총 캐시 토큰
키와 값에 대한 두 가지 요소를 설명합니다. 총 캐시 토큰은 활성 시퀀스의 합계를 의미합니다. 모든 시퀀스의 길이가 같은 경우 해당 길이에 활성 시퀀스 수를 곱합니다.
이것은 모든 모델에 대한 보편적인 공식이 아닙니다. 슬라이딩 창 주의, 기타 캐시 아키텍처, 캐시 양자화 및 런타임 할당 규칙이 계산을 변경할 수 있습니다. 슬라이딩 창 및 청크 주의 레이어에 대한 제한을 포함하여 다양한 메모리 동작으로 얼굴을 문서화합니다.
작업 캐시 예제
Meta’s Llama 3.1 8B configuration uses 32 layers, 32 attention heads, eight KV heads, and a hidden dimension of 4,096. The head dimension is 4,096 ÷ 32 = 128.
2바이트 KV 캐시, 전체 주의 및 접두사 공유가 없다고 가정합니다.
2 × 32 × 8 × 128 × 2 = 시퀀스당 캐시된 토큰당 131,072바이트
이는 128KIB입니다.
| 시퀀스당 캐시된 토큰 | 활성 시퀀스 | 계산된 논리적 KV 페이로드 |
|---|---|---|
| 8,192 | 1 | 1 기브 |
| 8,192 | 4 | 4 기브 |
| 32,768 | 4 | 16 기브 |
| 32,768 | 8 | 32 기브 |
모델은 변경되지 않았지만 요청 메모리 변경이 급격히 변경되었습니다. 이것이 모델 크기에 고정 백분율을 추가하는 것이 모든 컨텍스트 및 동시성 목표를 설명할 수 없는 이유입니다.
이는 측정된 GPU 할당이 아닌 계산된 페이로드입니다. 런타임은 캐시 블록을 미리 예약하거나 재사용을 위해 할당을 유지할 수 있습니다. 따라서 모니터링 도구에 의해 보고된 메모리는 라이브 토큰 페이로드와 다를 수 있습니다.
완전한 GPU 메모리 예산을 구축하십시오
완전한 GPU 상주 배포의 경우 다음과 같이 시작합니다.
GPU 메모리 예산 = 로드된 가중치 + KV 할당 + 런타임 작업 메모리 + 운영 예비비
가능한 경우 측정된 런타임 값을 사용하십시오. 동일한 예약된 캐시 풀을 두 번 계산하지 마십시오.
예: 짧은 컨텍스트 도우미 대 공유 서비스
다음은 교육 시나리오, ATAL 벤치마크가 아닙니다. 가정:
- 로드된 양자화된 가중치: 5GiB.
- 기타 런타임 작업 메모리: 2GiB.
- 운영 예비비: 2 기브.
- 위의 Llama 3.1 8b 예제의 캐시 레이아웃.
| 메모리 항목 | 짧은 컨텍스트 도우미 | 더 긴 컨텍스트 공유 서비스 |
|---|---|---|
| 활성 시퀀스 | 1 | 4 |
| 시퀀스당 캐시된 토큰 | 8,192 | 32,768 |
| 로딩된 가중치, 가정 | 5 기브 | 5 기브 |
| 논리적 KV 페이로드, 계산 | 1 기브 | 16 기브 |
| 기타 작업 기억, 가정 | 2 기브 | 2 기브 |
| 예비, 가정 | 2 기브 | 2 기브 |
| 합산 계획 합계 | 10 기브 | 25 기브 |
이러한 가정 하에서 첫 번째 프로필은 16GiB 메모리 예산 확인을 지웁니다. 두 번째는 24GiB 예산을 초과합니다. 두 결과 모두 처리량이나 응답 시간을 증명하지 않습니다.
이 예에 대한 예비 및 간접 수치는 일반적인 권장 사항이 아닌 입력입니다. 하드웨어를 선택하기 전에 정확한 런타임 및 설정의 측정값으로 교체하십시오.
70B 모델은 어떻습니까?
명목상의 70B 모델은 35GB의 이상적인 4비트 중량을 가지고 있습니다. 캐시 및 오버헤드 이전에도 24GB의 사용 가능한 메모리 내에서 완전히 GPU 상주할 수 없습니다.
가능한 경로에는 더 큰 메모리 GPU, 지원되는 다중 GPU 배치, CPU 오프로드 또는 작업 품질 테스트를 통과하는 더 작은 모델이 포함됩니다. 48GB 장치는 모든 70B 워크로드에 대해 포괄적인 권장 사항이 아닙니다. 컨텍스트, 활성 요청, 포맷 오버헤드 및 런타임 동작은 여전히 중요합니다.
VRAM 이상으로 GPU 하드웨어를 선택하십시오
충분한 메모리가 구성을 가능하게 합니다. 구성이 충분히 빠르지 않습니다.
동일한 워크로드를 사용하여 후보자를 비교하십시오.
| 하드웨어 확인 | 확인해야 할 사항 |
|---|---|
| 사용 가능한 VRAM | 파티션 및 기타 프로세스 후 실제 할당 |
| 런타임 지원 | GPU 아키텍처, 드라이버, 백엔드 및 모델 지원 |
| 가중치 및 캐시 형식 | 지원되는 커널 및 메모리 동작 |
| 메모리 대역폭 | 선택한 모델 및 요청 믹스에서 성능 |
| 상호 연결 | 선택한 병렬 방법에 대한 장치 토폴로지 |
| 전원 및 냉각 | 서버의 지속적인 작동 제한 |
| 서비스 약관 | 전용 또는 공유 리소스, 지원 및 교체 프로세스 |
일반 카드당 사용자 테이블에서 GPU를 선택하지 마십시오. 10개의 짧은 요청과 10개의 긴 문서 요청은 다른 워크로드입니다.
각 하드웨어 옵션 옆에 최종 모델 개정, 런타임 버전, 프롬프트/출력 제한 및 활성 요청 대상을 유지합니다. 그렇지 않으면 비교를 재현하기 어렵습니다.
크기 시스템 RAM, CPU, 스토리지 및 네트워킹
시스템 RAM: 로딩 및 호스트 서비스를 위한 예산
System RAM은 운영 체제, 모델 로딩, API, 토큰화, 모니터링 및 CPU 상주 모델 또는 캐시 상태를 지원합니다. 임베딩 모델, rerankers 및 벡터 데이터베이스는 호스트를 공유하는 경우 추가 수요를 추가합니다.
시동 중 피크 RAM과 꾸준한 작동을 측정합니다. 로딩 방법은 시작 후 부재하는 임시 복사본 또는 버퍼를 사용할 수 있습니다.
모든 추론 스택에 맞는 단일 RAM 대 VRAM 비율은 없습니다. 선택한 런타임, 오프로드 계획 및 지원 서비스에서 호스트 예산을 구축합니다. 호스트 메모리가 부족하기 때문에 로딩 중에 GPU에 맞는 모델이 여전히 실패할 수 있습니다.
CPU: 코어와 메모리 대역폭을 작업에 일치시킵니다
GPU 지원 서버에서 CPU는 여전히 요청 처리, 토큰화, 네트워킹 및 애플리케이션 작업을 처리합니다. CPU 전용 추론은 또한 프로세서 실행 및 시스템 메모리 동작을 성능의 중심으로 만듭니다.
의도된 스레드 수를 테스트합니다. 더 많은 코어는 자동으로 토큰 비율의 일치하는 증가를 생성하지 않습니다. 다중 소켓 시스템의 경우 메모리 위치와 GPU 및 네트워크 장치의 배치를 검사합니다.
CPU 전용 서버는 일괄 작업, 실험 또는 저주파 작업에 대한 후보가 될 수 있습니다. 대화형 사용에 적합한지 여부는 모델과 측정된 응답 시간에 따라 다릅니다.
NVMe 스토리지: 버전 및 복구를 포함합니다
둘 이상의 다운로드된 모델에 대한 예산 스토리지:
스토리지 예산 = 활성 모델 파일 + 롤백 파일 + 런타임 아티팩트 + 애플리케이션 데이터 + 유지 로그 + 여유 작업 공간
검색 서버를 공유할 때 벡터 인덱스 및 문서 데이터를 추가합니다. 임시 다운로드 및 변환 파일도 고려하십시오.
로컬 NVMe는 모델 로딩 및 데이터 액세스 지연을 줄일 수 있습니다. 필요한 모든 가중치가 메모리에 상주한 후에도 더 높은 생성 속도를 보장하지 않습니다. 웜 요청 성능과 별도로 콜드 시작 시간을 측정합니다.
네트워킹: 모델 트래픽과 별도의 클라이언트 트래픽
공용 네트워크 포트는 클라이언트 연결, 다운로드 및 전송을 처리합니다. GPU 대 GPU 링크와 분산 추론 노드 간의 네트워크는 다른 용도로 사용됩니다.
다중 노드 추론 성능의 증거로 공용 10Gbps 포트 사양을 사용하지 마십시오. 실제 토폴로지, 통신 방법 및 런타임 요구 사항을 확인합니다.
음성 응용 프로그램의 경우 음성 입력, 전사, 모델 응답, 음성 생성 및 전달과 같은 전체 턴을 측정합니다. 첫 번째 토큰에 대한 LLM 시간은 해당 경로의 일부만 다룹니다.
런타임 및 다중 GPU 설계를 워크로드에 일치시킵니다
최종 하드웨어 결정을 내리기 전에 런타임을 선택하십시오. 모델 지원, 배치, 배치 및 메모리 관리를 제어합니다.
| 런타임 | 유용한 평가 경로 | 커밋하기 전에 확인하십시오 |
|---|---|---|
| 올라마 | 모델 평가판 및 더 간단한 서비스 워크플로 | 하드웨어 지원, 컨텍스트, 병렬 요청 및 로드된 모델 제한 |
| 라마.CPP | GGUF 모델, CPU 추론 및 부분 GPU 오프로드 | 빌드/백엔드, 아티팩트 지원, 오프로드 레이어 및 측정된 속도 |
| VllM | 일괄 처리 및 지원되는 다중 GPU 배포 | 모델/형식 호환성, 메모리 컨트롤, 토폴로지 및 로드 중 대기 시간 |
Ollama는 병렬 요청과 더 긴 컨텍스트를 통해 증가된 메모리 요구 사항을 문서화합니다. Llama.cpp는 CPU/GPU 하이브리드 추론을 지원합니다. 이는 특정 토큰 비율을 보장하는 것이 아니라 테스트할 수 있는 옵션입니다.
하나의 모델을 분할하거나 별도의 복제본을 실행하시겠습니까?
GPU 간에 모델을 분할하면 하나의 장치에 맞지 않을 때 도움이 될 수 있습니다. 텐서 병렬 처리는 지원되는 텐서 작업을 나눕니다. 파이프라인 병렬 처리는 모델 단계 또는 레이어를 구분합니다. MOE 배포는 전문가 병렬 처리를 사용할 수도 있습니다.
복제본은 다른 목적을 수행합니다. 각 사본은 고유한 가중치를 보유하며 별도의 요청 집합을 처리할 수 있습니다. 복제본은 하나의 복사본이 이미 적합할 때 서빙 용량을 추가할 수 있지만 하나의 더 큰 모델을 보유하기 위해 메모리를 결합하지 않습니다.
두 개의 GPU는 하나의 자동 메모리 풀이 되지 않습니다. 장치별 할당, 통신 및 런타임 지원은 여전히 레이아웃을 제한합니다. VLLM은 여러 병렬 방법 및 토폴로지 고려 사항을 문서화합니다.
NVLink는 보편적인 요구 사항이 아닙니다. 실제 지원되는 레이아웃을 비교하고 벤치마킹하십시오. 두 번째 GPU를 추가하거나 총 VRAM을 두 배로 늘리는 것은 유용한 처리량의 두 배를 보장하지 않습니다.
프로덕션 전에 서버를 벤치마킹하십시오
벤치마크 스크린샷에서 가장 높은 숫자가 아닌 애플리케이션 대상을 테스트합니다.
| 미터법 | 그것이 당신에게 말하는 것 |
|---|---|
| 첫 번째 토큰까지의 시간 또는 TTFT | 클라이언트가 초기 모델 출력을 기다리는 시간 |
| 인터 토큰 대기 시간 | 생성이 시작된 후 출력이 얼마나 원활하게 도착하는지 |
| 요청당 출력 속도 | 하나의 요청에 의해 경험되는 생성 속도 |
| 집계 출력 속도 | 서버 전체의 총 출력 |
| 요청 완료 시간 | 전체 응답이 걸리는 시간 |
| 오류 및 대기열 증가 | 수요가 사용 가능한 용량을 초과하는지 여부 |
정의와 측정 경계가 중요합니다. NVIDIA의 벤치마크 지침은 사용자 수준의 토큰 속도, 시스템 처리량 및 응답 지연 시간을 구분합니다. 선택한 도구의 정의를 결과와 함께 유지합니다.
반복 가능한 수락 테스트를 사용하십시오
- 구성을 수정합니다. 레코드 모델 개정, 아티팩트, 토크나이저, 런타임, 드라이버, GPU, CPU, RAM, 스토리지 및 전력 제한.
- 하나의 요청을 테스트합니다. 대표적인 입력 및 출력 길이로 차갑고 따뜻한 동작을 측정합니다.
- 동시성을 증가시킵니다. 여러 활성 요청 수준에서 일반 및 긴 요청을 확인합니다.
- 테스트 도착 버스트. 대기열 및 과부하 동작이 표시되도록 예상 속도로 요청을 보냅니다.
- 품질을 확인하십시오. 정밀도, 컨텍스트 또는 서빙 설정을 변경한 후 작업 테스트를 반복합니다.
- 패스 조건을 기록합니다. 지연 시간, 성공적인 처리량, 메모리, 품질 및 필요한 예약을 포함합니다.
일관된 워밍업 후 측정된 반복을 여러 번 사용하십시오. 실패, 샘플 수 및 결과의 확산을 보고합니다. 너무 적은 수의 요청을 기반으로 한 P99 수치는 오해의 소지가 있습니다.
접두사 캐싱이 활성화된 경우 반복 및 새 접두사를 모두 테스트합니다. 임베딩 또는 랭크가 기계를 공유하는 경우 부하 테스트에 포함시키십시오. 합성 짧은 프롬프트 결과는 긴 문서 용량을 설정할 수 없습니다.
현재 도구를 사용하고 버전을 기록하십시오. NVIDIA의 현재 Genai-Perf 문서에 따르면 단계적으로 폐지되고 새로운 벤치마킹 작업이 Aiperf에 전달됩니다.
메모리가 제한 리소스일 때
먼저 문제가 모델 로딩, 캐시 예약, 컨텍스트 증가 또는 기타 서비스인지 여부를 식별합니다. 그런 다음 한 가지 요인을 변경하고 다시 테스트하십시오.
가능한 옵션에는 더 작은 모델, 지원되는 양자화된 아티팩트, 더 짧은 컨텍스트 제한, 더 적은 활성 시퀀스 또는 다른 배치 계획이 포함됩니다. 이러한 선택은 품질, 대기열 및 처리량을 변경할 수 있습니다.
VLLM은 컨텍스트 길이 및 시퀀스 제한을 메모리 컨트롤로 기록하고 CUDA 그래프 캡처는 추가 GPU 메모리를 사용합니다. 설정을 측정된 구성의 일부로 취급합니다.
API 및 Cloud GPU와 자체 호스팅 비용을 비교하십시오
필요한 작업 품질과 응답 시간을 충족하는 구성만 비교합니다. 사용할 수 없는 답변을 생성하는 저렴한 서버는 절약이 아닙니다.
대여한 전용 서버의 경우 다음을 포함합니다.
- 계획된 기간 동안 임대 및 설정 비용.
- 저장, 전송, 소프트웨어 및 지원 요금.
- 업데이트, 모니터링 및 사고에 대한 작업 작업.
- 유지 보수 또는 고장 처리에 필요한 용량.
렌탈 요금에 이미 포함되어 있는 경우 전원을 다시 추가하지 마십시오. 소유 하드웨어의 경우 구매, 에너지, 시설 및 지원을 포함하는 별도의 소유권 모델을 사용하십시오.
수락된 요청당 비용 = 기간 동안의 완료 비용 ÷ 해당 기간 동안의 수락 요청
예를 들어, 가상의 완전한 월간 비용 $1,200을 600,000개의 승인된 요청으로 나눈 값은 수락된 요청당 $0.002를 제공합니다. 이것은 ATAL 견적이나 측정된 서빙 능력이 아니라 교육 계산입니다.
동일한 응답 시간에 동일한 서버에 10배의 수요가 적합하다고 가정하지 마십시오. 용량, 인력 또는 예비군이 필요하면 비용이 변경됩니다.
API 비교, 가격 입력 토큰, 출력 토큰, 캐싱 및 기타 청구된 카테고리를 별도로 제공합니다. Cloud GPU의 경우 운영 시간, 연결된 스토리지, 전송 및 필요한 지원 서비스가 포함됩니다.
자체 호스팅이 더 저렴해지는 보편적인 토큰 볼륨은 없습니다. 활용도, 모델 품질, 요청 길이, 하드웨어 및 운영 책임이 결과를 결정합니다.
주문하기 전에 배포 제한을 확인하십시오
하드웨어 적합성은 준비 상태의 한 부분입니다. 정확한 모델 라이센스 및 허용된 사용을 확인하십시오. 드라이버, 런타임 및 아티팩트 호환성을 확인하십시오.
추론 끝점에 대한 액세스를 제어합니다. 요청 크기, 출력, 대기열 및 속도 제한을 설정합니다. 로깅 및 보존 규칙을 정의합니다. 데이터가 특정 경계 내에 남아 있어야 하는 경우 아웃바운드 연결, 외부 임베딩, 도구 및 대체 API를 검토합니다.
임대된 전용 서버는 자동으로 구내에 있거나 에어 갭이 없습니다. 자체 호스팅을 통해 배포 선택을 제어할 수 있습니다. 모든 구성에서 모든 프롬프트가 비공개로 유지된다는 것을 증명하지 않습니다.
계획 모델 업데이트, 파일 롤백, 모니터링 및 복구를 계획합니다. 호스트 장애가 발생하는 동안 서비스를 계속해야 하는 경우 아키텍처는 해당 호스트 외부에서 여분의 용량이 필요합니다. 하나의 서버에 있는 여러 GPU는 두 번째 호스트를 제공하지 않습니다.
자주 묻는 질문
GPU 없이 LLM을 자체 호스팅할 수 있습니까?
네. 지원되는 런타임은 CPU에서 모델을 실행할 수 있으며 일부는 CPU와 GPU로 작업을 나눌 수 있습니다. 시스템 RAM에 맞는 모델 및 형식으로 시작한 다음 응답 시간을 테스트합니다. CPU 전용 추론은 배치 또는 저주파 작업에 적합할 수 있지만 대화형 적합성을 측정해야 합니다.
LLM 서버에 24GB VRAM이 충분합니까?
아티팩트, 컨텍스트, 활성 요청 및 런타임에 따라 다릅니다. 여러 소형 양자화 모델이 적합할 수 있지만 메모리 적합성이 생산 능력을 설정하지 않습니다. 명목상의 70B 모델의 이상적인 4비트 가중치만으로도 24GB의 VRAM을 초과하는 35GB가 필요합니다.
70B 모델에 필요한 메모리는 얼마입니까?
이상적인 무게 층은 16비트에서 140GB, 8비트에서 70GB, 4비트에서 35GB입니다. 형식 오버헤드, 캐시, 작업 메모리 및 예약을 추가합니다. GPU 및 호스트 메모리에 대한 배치는 런타임에 따라 다릅니다.
2개의 24GB GPU가 하나의 더 큰 GPU를 대체할 수 있습니까?
때로는 모델과 런타임이 적절한 분할을 지원하는 경우. 하나의 더 큰 장치와 자동으로 동일하지 않습니다. 통신, 장치별 오버헤드, 캐시 배치 및 서버 토폴로지는 적합성과 속도 모두에 영향을 미칩니다.
모델이 로드되지만 여러 요청으로 인해 실패하는 이유는 무엇입니까?
Loading 초기 모델 할당이 적합한지 여부를 확인합니다. 추가 요청은 캐시 및 작업 메모리 수요를 증가시킬 수 있습니다. 하드웨어를 변경하기 전에 정확한 장애 지점을 측정하고 컨텍스트, 활성 시퀀스 제한 및 기타 로드된 서비스를 확인합니다.
추론 서버에 얼마나 많은 시스템 RAM이 필요합니까?
시작 피크, 운영 체제, 런타임, API 서비스, CPU 오프로드 및 모든 검색 구성 요소에 대한 예산. 로딩 및 정상 작동을 모두 측정합니다. 파라미터 카운트 또는 GPU 메모리만으로 뒤따르는 고정된 시스템-RAM 요구 사항은 없습니다.
전용 서버가 API보다 저렴합니까?
그럴 수 있지만 동등한 작업 품질과 응답 시간에서 완전한 비용을 비교하십시오. 낮거나 불규칙한 수요는 임대 하드웨어 유휴 상태로 남을 수 있습니다. 선택된 서버가 서비스 대상 내에서 이를 처리할 수 있다면 지속적인 수요가 활용도를 향상시킬 수 있습니다.
권장 다음 단계
매개변수 수만이 아닌 문서화된 요청 프로필에서 하드웨어를 선택합니다. 가중치와 캐시를 별도로 계산하고 전체 서버 예산을 추가하고 남아 있는 구성을 테스트합니다.
커밋하기 전에:
- 모델 개정, 아티팩트, 컨텍스트 및 활성 요청 대상을 수정합니다.
- 일관된 단위를 사용하여 메모리 예산을 계산합니다.
- 런타임 지원 및 기기별 배치를 확인합니다.
- 테스트 지연 시간, 처리량, 품질 및 실패 동작.
- 같은 기간의 전체 비용을 비교합니다.
적절한 구성에 대해 논의하려면 Atal Networks 전용 서버 모델, 요청 프로필, 메모리 추정치, 위치 및 소프트웨어 요구 사항을 공유합니다. 주문하기 전에 특정 제안에 대한 GPU 가용성 및 지원 옵션을 확인하십시오.
출처 및 계산 노트
소스는 2026년 10월 28일에 확인되었습니다. 모델 구성, 런타임 지원 및 소프트웨어 동작이 변경될 수 있으므로 배포에 사용된 버전을 기록합니다.
- 메타 라마 모델 구성.
- 포옹 얼굴 캐시 전략.
- VLLM 메모리 컨트롤.
- VLLM 병렬 처리 및 스케일링.
- 올라마 FAQ.
- 라마.cpp 프로젝트.
- NVIDIA 추론 벤치마킹 개념.
- NVIDIA 벤치마크 도구 상태.
가중치 테이블은 이상적인 비트 수와 소수 GB를 사용합니다. KV-캐시 수치는 이진 GIB와 명시된 전체 주의 가정을 사용합니다. 5GiB 가중치 할당, 2GiB 작업 메모리 입력, 2GiB 리저브 및 달러 예제는 가상 교육 입력입니다. 그것들은 ATAL 측정, 가격 또는 용량 청구가 아닙니다.
