A VPS 할당된 CPU, 메모리 및 필요한 GPU가 애플리케이션의 응답 대상을 충족하는 경우 AI 추론을 실행할 수 있습니다. 베어 메탈 물리적 리소스에 대한 제어 또는 전체 서버를 정당화하기에 충분한 지속 용량이 필요할 때 자세히 살펴볼 가치가 있습니다.
AI 추론을 위한 베어메탈 대 VPS 간의 결정은 워크로드에서 시작됩니다. 성공적으로 로드되는 모델은 긴 입력, 동시 사용자 또는 엄격한 응답 마감일로 여전히 어려움을 겪을 수 있습니다.
이 가이드에서는 이러한 요구 사항을 구분하여 Atal Networks에 명확한 인프라스트럭처를 제공할 수 있습니다.
베어 메탈 및 VPS: 레이블 뒤에 있는 리소스 비교
VPS는 물리적 호스트에서 가상 머신으로 실행됩니다. 공급자의 할당 정책에 따라 CPU, 메모리, 스토리지 및 네트워크 용량을 사용할 수 있습니다.
Bare Metal은 운영 체제와 하드웨어 사이에 공급자 하이퍼바이저가 없는 물리적 서버를 제공합니다. 컨테이너 또는 자체 가상 머신을 계속 실행할 수 있습니다.
두 레이블 모두 GPU 액세스를 확인하지 않습니다. 전용 서버에는 가속기가 없을 수 있지만 GPU 가상 머신은 전체 장치를 수신할 수 있습니다.
| 결정 | VPS 고려 사항 | 베어 메탈 고려 사항 |
|---|---|---|
| CPU | 공유 또는 전용 vCPU, 스케줄링, 지속 제한 | 프로세서 생성, 물리적 코어, 메모리 레이아웃 |
| GPU | 가용성, 전체 장치 또는 파티션, 공유 정책 | 설치된 장치, GPU 메모리, 상호 연결 |
| 기억 | RAM 할당 및 GPU 메모리 제한 | 설치된 용량 및 사용 가능한 메모리 |
| 공연 | 할당된 리소스 아래의 애플리케이션 지연 시간 | 선택한 하드웨어에 대한 애플리케이션 지연 시간 |
| 비용 | 할당된 용량, 유휴 시간, 트래픽, 스토리지 | 전체 서버 비용, 미사용 용량, 예비 용량 |
| 회복 | 다시 시작, 크기 조정, 호스트 실패, 마이그레이션 조건 | 하드웨어 교체, 재구축, 복원 조건 |
서비스 목표를 충족하는 VPS는 생산 추론을 지원할 수 있습니다. 테스트 또는 격리 요구 사항이 사용 이유를 보여줄 때 베어메탈이 더 강력한 후보가 됩니다.
더 광범위한 호스팅 차이점에 대해서는 전용 서버 대 VPS 호스팅 비교.
1. 추론 워크로드를 정의합니다
추론은 출력을 생성하기 위해 훈련된 모델을 실행합니다. 교육 및 미세 조정에는 별도의 용량 계획이 필요합니다.
정확한 모델 개정, 제공 소프트웨어 및 수치 정밀도로 시작합니다. 정밀도는 시스템이 모델 값을 나타내는 방법을 설명합니다. 양자화는 비트 너비를 줄여 메모리 사용을 줄일 수 있지만 출력 품질과 하드웨어 호환성에 영향을 줄 수 있습니다.
계획을 비교하기 전에 다음 입력을 기록하십시오.
- 신청: 채팅, 문서 검색, 분류, 이미지 또는 음성.
- 모델: 이름, 개정, 라이선스 및 필수 런타임.
- 요청 크기: 일반 및 최대 입력 및 출력.
- 교통: 정상 도착, 최대 도착 및 버스트 지속 시간.
- 응답 대상: 허용되는 지연 또는 배치 완료 시간.
- 품질 목표: 애플리케이션이 유지해야 하는 작업별 결과입니다.
일괄 작업에서 별도의 대화형 요청
고객 대면 채팅 서비스는 바쁜 기간 동안 수용 가능한 응답 시간이 필요합니다. 야간 문서 작업은 마감일 전에 완료되면 대기열을 허용할 수 있습니다.
이러한 워크로드는 매일 동일한 수의 요청을 처리하더라도 다른 하드웨어가 필요할 수 있습니다.
일일 총계에서만 크기 조정을 피하십시오. 하루에 걸쳐 흩어져 있는 수천 개의 짧은 분류 요청이 몇 분 안에 도착하는 수천 개의 긴 문서 요청과 다른 로드를 생성합니다.
올바른 작업 단위를 사용하십시오
입력 길이, 출력 길이 및 응답 시간을 사용하여 텍스트 생성을 측정합니다. 임베딩의 경우 초당 처리된 문서 또는 통로를 추적합니다.
이미지 워크로드의 경우 기록 치수 및 처리 설정. 음성의 경우 오디오 지속 시간과 응용 프로그램에 라이브 처리가 필요한지 여부를 녹음합니다.
정밀도 또는 하드웨어를 변경하기 전에 허용되는 품질을 정의하는 것이 좋습니다. 더 빠른 구성은 출력이 응용 프로그램의 품질 검사에 실패하면 거의 가치가 없습니다.
2. CPU 및 가속기 요구 사항을 확인합니다
적절한 위치에 먼저 CPU 추론을 평가합니다
일부 분류, 임베딩 및 소규모 세대 워크로드는 CPU에서 목표를 달성할 수 있습니다. 유용한 질문은 선택한 모델과 런타임이 로드 시 필요한 응답 시간을 충족하는지 여부입니다.
프로세서 생성, 지원되는 지침, 메모리 대역폭 및 스레드 설정을 확인하십시오. vCPU 수만으로는 사용 가능한 처리 용량을 설명하지 않습니다.
VPS가 공유 CPU 시간, 전용 CPU 할당 또는 버스트 크레딧을 사용하는지 묻습니다. 지속 사용 제한을 확인하십시오.
더 큰 서버의 경우 NUMA 배치를 확인하십시오. NUMA는 프로세서가 시스템의 다른 곳에 연결된 메모리를 사용할 때 메모리 액세스가 더 오래 걸릴 수 있음을 의미합니다. 잘못된 배치는 큰 코어 수에도 불구하고 성능을 제한할 수 있습니다.
실제 GPU 할당을 확인합니다
"GPU VPS" 설명에 더 자세한 정보가 필요합니다.
전체 장치 패스스루는 가상 머신에 물리적 GPU를 할당합니다. 기타 서비스는 시간 공유 또는 하드웨어 파티션을 통해 GPU 액세스를 구분합니다. 가상 GPU 서비스는 다른 할당 방법을 사용할 수 있으므로 정확한 배열을 요청하십시오.
NVIDIA의 다중 인스턴스 GPU(MIG)는 지원되는 GPU를 별도의 컴퓨팅 및 메모리 리소스가 있는 인스턴스로 나눕니다. 가상 머신 또는 베어 메탈 배포와 함께 작동할 수 있습니다. MIG 인스턴스는 전체 물리적 GPU가 아닙니다. [1]
GPU 모델, 할당된 메모리, 컴퓨팅 할당 및 공유 정책을 서면으로 요청합니다.
소프트웨어 및 다중 GPU 호환성을 확인하십시오
운영 체제, 드라이버, 추론 엔진 및 양자화 형식에 대한 지원을 확인합니다.
여러 GPU는 자동으로 하나의 더 큰 메모리 풀로 작동하지 않습니다. 귀하의 소프트웨어는 장치 간에 모델 또는 워크로드를 분할하는 것을 지원해야 하며, 이러한 장치 간의 통신은 성능에 영향을 줄 수 있습니다.
CPU 전용 전용 서버는 호환되는 가속기가 필요한 작업 부하를 해결하지 못합니다.
3. RAM, GPU 메모리 및 스토리지를 별도로 계획합니다
시스템 RAM, GPU 메모리 및 디스크 스토리지는 다른 용도로 사용됩니다. 하나를 더 구매한다고 해서 다른 것의 부족이 자동으로 수정되는 것은 아닙니다.
가중치 메모리를 추정합니다
이 시작 계산을 사용하십시오.
원시 가중치 바이트 = 파라미터 카운트 × 파라미터 당 비트 수 ÷ 8
70억 개의 매개변수가 있는 예시 모델의 경우:
| 무게 정밀도 | 원시 무게 크기, 10진수 GB |
|---|---|
| 16비트 | 14GB |
| 8비트 | 7GB |
| 4비트 | 3.5GB |
이 수치는 원시 가중치에만 적용됩니다. 양자화 메타데이터, 런타임 버퍼, 임시 할당 및 기타 작업 메모리가 총계에 추가됩니다.
3.5GB 가중치 추정치는 모델이 GPU 메모리의 4GB 내에서 실행된다는 것을 증명하지 않습니다.
컨텍스트 및 동시 요청에 대한 예산
생성 모델은 이전 작업을 반복하지 않도록 키-값 캐시 또는 KV 캐시의 데이터에 주의를 기울입니다. 더 긴 시퀀스와 더 많은 활성 요청은 해당 캐시의 메모리 사용을 증가시킬 수 있습니다. 정확한 동작은 모델 및 캐시 구현에 따라 다릅니다.
일반적인 요청과 허용하는 가장 긴 요청을 테스트합니다. 짧은 대화 하나를 처리하는 구성은 여러 긴 대화에서 메모리가 부족할 수 있습니다.
일부 런타임은 캐시 데이터를 시스템 RAM에 오프로드하거나 캐시 정밀도를 줄일 수 있습니다. 이러한 옵션에는 성능 균형이 있으며 워크로드 테스트가 필요합니다.
로딩 및 롤백 스토리지를 포함합니다
모델 파일, 여러 버전, 어댑터, 컨테이너 이미지, 로그 및 임시 다운로드를 위한 디스크 공간을 허용합니다.
롤백에 사용할 수 있는 알려진 작동 버전을 유지합니다. 배포 계획에서 모델을 다운로드, 로드 및 따뜻하게 하는 데 필요한 시간을 포함합니다.
NVMe 스토리지는 스토리지가 많은 작업을 단축할 수 있습니다. 추론하는 동안 충분한 RAM 또는 GPU 메모리를 대체할 수 없습니다.
4. 동시성을 네트워크 경로에 일치시킵니다
요청 속도, 활성 요청 및 배치 크기는 다른 것을 설명합니다.
요청률은 시간 경과에 따른 도착을 측정합니다. 동시성 계산은 아직 진행 중입니다. 배치 크기는 런타임이 그룹으로 처리하는 작업을 설명합니다.
더 긴 출력은 요청을 더 오래 활성 상태로 유지합니다. 도착률이 변경되지 않은 상태에서도 메모리 사용 및 대기열을 늘릴 수 있습니다.
사용자의 대기를 측정합니다
텍스트 생성 서비스의 경우 다음을 추적합니다.
- 첫 번째 토큰 시간: 요청 전송에서 첫 번째 스트리밍 출력 수신까지 지연됩니다.
- 스트리밍 갭: 연속적인 출력 이벤트 사이의 시간.
- 총 요청 시간: 응답이 끝날 때까지 지연됩니다.
- 대기열 대기: 처리 시작 전 시간.
- 오류 및 시간 초과: 예상대로 완료되지 않은 요청.
또한 P95 및 P99 대기 시간을 보고합니다. P95 값은 측정된 요청의 95%가 떨어지는 지점 또는 그 이하의 지점을 설명합니다.
테스트 전반에 걸쳐 동일한 측정 포인트를 사용합니다. VLLM은 스트리밍된 출력과 출력당 평균 시간을 구분합니다. 이러한 측정값은 특히 출력 이벤트에 여러 토큰이 포함된 경우 다를 수 있습니다.
검색 및 데이터 전송을 포함합니다
응용 프로그램은 답변을 반환하기 전에 문서를 가져오거나 벡터 데이터베이스를 쿼리하거나 다른 서비스를 호출할 수 있습니다. 빠른 모델 서버는 이러한 지연을 제거할 수 없습니다.
사용자, API, 추론 작업자, 데이터베이스 및 스토리지 간의 경로를 매핑합니다. 대표적인 사용자 위치에서 테스트합니다.
포트 속도, 트래픽 허용량, 이그레스 요금 및 개인 네트워크 가용성을 확인합니다. 트래픽 추정치에 대규모 모델 다운로드 및 이미지 또는 오디오 업로드를 포함합니다.
서버 위치는 데이터 배치의 일부일 뿐입니다. 로그, 백업, 서비스 및 외부 API는 다른 곳에서 데이터를 처리하거나 저장할 수 있습니다.
5. 격리, 보안 및 복구 요구 사항을 설정합니다
필요한 경계를 정의합니다
전용 물리적 호스트, 전용 CPU 할당, 전체 GPU 또는 별도의 스토리지가 필요한지 여부를 지정합니다.
이러한 요구 사항은 상호 교환할 수 없습니다. VM에는 호스트의 CPU 및 네트워크 리소스를 공유하는 동안 전용 GPU가 있을 수 있습니다.
Bare Metal은 일부 공유 호스트 문제를 제거하지만 노출된 애플리케이션 엔드포인트를 보호하지는 않습니다. 운영 체제, 액세스 규칙, 추론 서비스 및 데이터 처리에는 여전히 제어가 필요합니다.
엔드포인트와 저장된 데이터를 보호합니다
인증이 필요하고, 관리 액세스를 제한하고, 요청 속도, 입력 크기 및 출력 길이에 대한 제한을 설정합니다.
모델 파일 및 공용 저장소에서 비밀을 유지합니다. 모델 소스를 확인하고 로드하는 데 필요한 사용자 지정 코드를 검토합니다.
프롬프트와 출력이 로그에 속하는지 여부를 결정합니다. 업로드된 파일, 생성된 콘텐츠, 백업 및 공유 캐시에 대한 보존 및 액세스 규칙을 설정합니다.
배포 전에 패치 및 모니터링 책임을 할당합니다. 소유권이 불분명하면 공급자와 고객 모두가 상대방이 행동하기를 기대하게 될 수 있습니다.
스냅샷을 넘어 복구를 테스트합니다
VPS 스냅샷이 실행 중인 모델의 GPU 상태를 유지한다고 가정하지 마십시오. 지원되는 스냅샷 동작을 확인하고 애플리케이션 재시작을 테스트합니다.
적절한 보안 프로세스를 통해 구성, 배포 파일, 자격 증명 및 다시 만들 수 없는 모든 데이터를 백업합니다. 올바른 모델 버전에 대한 액세스를 확인합니다.
허용되는 가장 긴 중단과 최근 데이터의 양을 정의합니다.
단일 VPS와 단일 전용 서버가 모두 실패할 수 있습니다. 더 짧은 중단이 필요한 서비스는 별도의 장애 도메인에서 두 번째 복제본, 건강 기반 트래픽 라우팅 및 하나의 복제본이 중지된 후 트래픽을 전달할 수 있는 용량이 필요할 수 있습니다.
6. 용량을 테스트하고 운영 비용을 비교합니다
비교를 공정하게 유지하십시오
동일한 모델 개정, 런타임, 정밀도, 요청 믹스, 출력 설정 및 품질 검사를 사용합니다.
가상화 오버헤드 클레임의 경우 동등한 기본 하드웨어 및 리소스 할당을 비교합니다. 하드웨어가 다른 경우 결과를 두 배포의 비교로 처리하십시오.
다른 엔지니어가 테스트를 반복할 수 있도록 소프트웨어 버전, 테스트 기간, 요청 수, 워밍업, 클라이언트 위치 및 캐시 상태를 기록합니다.
최고의 경우보다 더 많이 테스트하십시오
일반 트래픽, 짧은 버스트, 지속 피크, 긴 입력 및 콜드 시작을 실행합니다. 조용한 시간에 의존하기보다 테스트를 반복하십시오.
대기열 증가, 메모리 사용, 오류 및 지연 시간 변화를 확인합니다. 재시작 또는 장애 조치(failover) 동작을 테스트하고 나머지 용량이 필요한 서비스 수준을 충족하는지 확인합니다.
반복되는 프롬프트는 캐시 재사용을 통해 결과를 더 좋게 만들 수 있습니다. VLLM은 동일한 서버에 대해 벤치마크를 반복하면 캐시된 접두사를 재사용하고 처리량을 팽창시킬 수 있다고 경고합니다. 프로덕션 트래픽에 캐시 동작을 일치시키거나 관련 테스트 간에 재설정합니다.
| 검사 | 통과 조건 |
|---|---|
| 출력 품질 | 신청서의 승인 기준을 충족합니다 |
| 정상적인 교통 | 응답 및 오류 대상을 충족합니다 |
| 피크 트래픽 | 대기열과 시간 초과를 합의된 한도 내에서 유지합니다 |
| 기억 | 할당 실패 없이 허용된 입력 및 동시성을 처리합니다 |
| 콜드 스타트 | 배포 대상 내에서 준비됩니다 |
| 회복 | 필요한 중단 한도 내에서 서비스를 복원합니다 |
| 비용 | 예상 사용량의 예산에 맞습니다 |
테스트하기 전에 통과 조건을 설정하십시오.
수락된 요청당 비용을 계산합니다
가장 낮은 월별 인보이스는 유용한 결과당 가장 높은 비용을 생성할 수 있습니다.
사용:
1,000건의 요청당 비용 = 총 기간 비용 ÷ 수락 요청 × 1,000
합의된 품질 및 지연 시간 기준을 충족하는 요청을 계산합니다. 서버 요금, 트래픽, 스토리지, 백업, 라이선스, 모니터링, 운영 작업 및 예비 용량을 포함합니다.
설명을 위해 기간 동안 $300의 비용이 들며 600,000개의 수락 요청을 완료하는 데 드는 배포 비용은 1,000개의 승인된 요청당 $0.50입니다. 이것은 Atal Networks 따옴표나 벤치마크가 아닌 계산 예입니다.
유사한 입력 및 출력 크기를 비교하십시오. 혼합 워크로드의 경우 요청 유형별로 결과를 구분합니다.
VPS는 수요가 적거나 고르지 않을 때 비용이 적게 들 수 있습니다. 베어메탈은 지속적으로 사용하면 더 나은 경제성을 제공할 수 있습니다. 현재 견적과 실제 워크로드를 사용하여 크로스오버를 측정합니다.
7. Atal Networks에 명확한 배포 개요를 가져옵니다
유용한 인프라 논의는 애플리케이션과 그 제약 조건으로 시작됩니다.
이 체크리스트를 저희와 공유하세요:
- 모델명, 개정, 런타임, 정밀도, 라이센스.
- 테스트에서 지원하는 CPU 또는 GPU 요구 사항.
- 피크 시스템 RAM 및 GPU 메모리 사용.
- 일반 및 최대 입력 및 출력 크기.
- 예상 요청 속도, 동시성 및 버스트 기간.
- 응답 시간, 품질 및 가용성 목표.
- 사용자, 응용 프로그램, 데이터베이스 및 저장된 데이터 위치.
- 저장 용량, 성장 및 전송 요구 사항.
- 격리, 개인 네트워킹, IPv4/IPv6 및 액세스 요구 사항.
- 백업, 복구, 관리, 예산 및 배포 요구 사항.
커밋하기 전에 제안된 하드웨어, 할당, 호환성, 서비스 조건 및 가용성을 확인하도록 요청하십시오. 여전히 용량 테스트가 필요한 모든 요구 사항을 식별합니다.
Atal Networks와 모델, 예상 요청 패턴, 데이터 위치 및 인프라 요구 사항을 공유하여 적절한 옵션을 논의하십시오.
자주 묻는 질문
VPS가 GPU 없이 AI 추론을 실행할 수 있습니까?
네. CPU 기반 VPS는 호환되는 추론 소프트웨어와 모델을 실행할 수 있습니다. 적합성은 메모리, 프로세서 할당, 요청 크기 및 필요한 응답 시간에 따라 다릅니다. 프로덕션 서비스를 위해 선택하기 전에 현실적인 트래픽을 테스트하십시오.
베어메탈은 추론을 위해 항상 VPS보다 빠릅니까?
아니요. 성능은 하드웨어, 리소스 할당, 소프트웨어 및 워크로드에 따라 다릅니다. 적합한 가상 머신은 이전 물리적 서버를 능가할 수 있습니다. 전체 배포를 비교하고 사용자가 경험하는 응답 시간을 측정합니다.
GPU VPS에 전체 GPU가 포함되어 있습니까?
반드시 그런 것은 아닙니다. 계획은 전체 장치, 하드웨어 파티션 또는 공유 액세스를 제공할 수 있습니다. 계획 이름에 의존하지 않고 GPU 모델, 사용 가능한 메모리, 컴퓨팅 할당 및 공유 정책을 확인합니다.
메모리에 모델을 장착하면 피크 트래픽을 처리할 수 있음을 증명합니까?
아니요. 런타임 메모리, 캐시, 입력 길이 및 동시 요청은 가중치 파일을 넘어 수요를 증가시킬 수 있습니다. 예상되는 피크 로드에서 지원되는 가장 큰 요청을 테스트합니다.
더 많은 시스템 RAM이 GPU 메모리를 대체할 수 있습니까?
일부 런타임은 선택한 데이터 또는 계산을 CPU 및 시스템 RAM으로 이동하는 것을 지원합니다. 그렇다고 해서 RAM이 GPU 메모리와 동등하지 않습니다. 호환성 및 이전 비용은 계약이 귀하의 응답 목표를 충족하는지 여부를 결정합니다.
VPS 스냅샷이 추론 서비스를 복구하기에 충분합니까?
그 자체가 아닙니다. 복구는 또한 모델 액세스, 구성, 자격 증명, 응용 프로그램 데이터 및 재시작 동작에 따라 달라집니다. 복원을 테스트하고 특정 배포에 대한 공급자의 스냅샷 지원을 확인합니다.
하루에 요청에서 서버를 선택할 수 있습니까?
일일 합계는 버스트 크기, 처리 시간 및 입력 복잡성을 놓칩니다. 정상 및 최대 도착률, 요청 크기, 활성 요청 및 응답 대상을 사용합니다. 이러한 측정은 보다 유용한 용량 추정치를 지원합니다.
