...

AI 추론을 위한 베어 메탈 대 VPS VPS: 계획 체크리스트

AI 추론을 위한 베어메탈 VS VPS - 계획 체크리스트

A VPS 할당된 CPU, 메모리 및 필요한 GPU가 애플리케이션의 응답 대상을 충족하는 경우 AI 추론을 실행할 수 있습니다. 베어 메탈 물리적 리소스에 대한 제어 또는 전체 서버를 정당화하기에 충분한 지속 용량이 필요할 때 자세히 살펴볼 가치가 있습니다.

AI 추론을 위한 베어메탈 대 VPS 간의 결정은 워크로드에서 시작됩니다. 성공적으로 로드되는 모델은 긴 입력, 동시 사용자 또는 엄격한 응답 마감일로 여전히 어려움을 겪을 수 있습니다.

이 가이드에서는 이러한 요구 사항을 구분하여 Atal Networks에 명확한 인프라스트럭처를 제공할 수 있습니다.

베어 메탈 및 VPS: 레이블 뒤에 있는 리소스 비교

VPS는 물리적 호스트에서 가상 머신으로 실행됩니다. 공급자의 할당 정책에 따라 CPU, 메모리, 스토리지 및 네트워크 용량을 사용할 수 있습니다.

Bare Metal은 운영 체제와 하드웨어 사이에 공급자 하이퍼바이저가 없는 물리적 서버를 제공합니다. 컨테이너 또는 자체 가상 머신을 계속 실행할 수 있습니다.

두 레이블 모두 GPU 액세스를 확인하지 않습니다. 전용 서버에는 가속기가 없을 수 있지만 GPU 가상 머신은 전체 장치를 수신할 수 있습니다.

결정 VPS 고려 사항 베어 메탈 고려 사항
CPU 공유 또는 전용 vCPU, 스케줄링, 지속 제한 프로세서 생성, 물리적 코어, 메모리 레이아웃
GPU 가용성, 전체 장치 또는 파티션, 공유 정책 설치된 장치, GPU 메모리, 상호 연결
기억 RAM 할당 및 GPU 메모리 제한 설치된 용량 및 사용 가능한 메모리
공연 할당된 리소스 아래의 애플리케이션 지연 시간 선택한 하드웨어에 대한 애플리케이션 지연 시간
비용 할당된 용량, 유휴 시간, 트래픽, 스토리지 전체 서버 비용, 미사용 용량, 예비 용량
회복 다시 시작, 크기 조정, 호스트 실패, 마이그레이션 조건 하드웨어 교체, 재구축, 복원 조건

서비스 목표를 충족하는 VPS는 생산 추론을 지원할 수 있습니다. 테스트 또는 격리 요구 사항이 사용 이유를 보여줄 때 베어메탈이 더 강력한 후보가 됩니다.

더 광범위한 호스팅 차이점에 대해서는 전용 서버 대 VPS 호스팅 비교.

1. 추론 워크로드를 정의합니다

추론은 출력을 생성하기 위해 훈련된 모델을 실행합니다. 교육 및 미세 조정에는 별도의 용량 계획이 필요합니다.

정확한 모델 개정, 제공 소프트웨어 및 수치 정밀도로 시작합니다. 정밀도는 시스템이 모델 값을 나타내는 방법을 설명합니다. 양자화는 비트 너비를 줄여 메모리 사용을 줄일 수 있지만 출력 품질과 하드웨어 호환성에 영향을 줄 수 있습니다.

계획을 비교하기 전에 다음 입력을 기록하십시오.

  • 신청: 채팅, 문서 검색, 분류, 이미지 또는 음성.
  • 모델: 이름, 개정, 라이선스 및 필수 런타임.
  • 요청 크기: 일반 및 최대 입력 및 출력.
  • 교통: 정상 도착, 최대 도착 및 버스트 지속 시간.
  • 응답 대상: 허용되는 지연 또는 배치 완료 시간.
  • 품질 목표: 애플리케이션이 유지해야 하는 작업별 결과입니다.

일괄 작업에서 별도의 대화형 요청

고객 대면 채팅 서비스는 바쁜 기간 동안 수용 가능한 응답 시간이 필요합니다. 야간 문서 작업은 마감일 전에 완료되면 대기열을 허용할 수 있습니다.

이러한 워크로드는 매일 동일한 수의 요청을 처리하더라도 다른 하드웨어가 필요할 수 있습니다.

일일 총계에서만 크기 조정을 피하십시오. 하루에 걸쳐 흩어져 있는 수천 개의 짧은 분류 요청이 몇 분 안에 도착하는 수천 개의 긴 문서 요청과 다른 로드를 생성합니다.

올바른 작업 단위를 사용하십시오

입력 길이, 출력 길이 및 응답 시간을 사용하여 텍스트 생성을 측정합니다. 임베딩의 경우 초당 처리된 문서 또는 통로를 추적합니다.

이미지 워크로드의 경우 기록 치수 및 처리 설정. 음성의 경우 오디오 지속 시간과 응용 프로그램에 라이브 처리가 필요한지 여부를 녹음합니다.

정밀도 또는 하드웨어를 변경하기 전에 허용되는 품질을 정의하는 것이 좋습니다. 더 빠른 구성은 출력이 응용 프로그램의 품질 검사에 실패하면 거의 가치가 없습니다.

2. CPU 및 가속기 요구 사항을 확인합니다

적절한 위치에 먼저 CPU 추론을 평가합니다

일부 분류, 임베딩 및 소규모 세대 워크로드는 CPU에서 목표를 달성할 수 있습니다. 유용한 질문은 선택한 모델과 런타임이 로드 시 필요한 응답 시간을 충족하는지 여부입니다.

프로세서 생성, 지원되는 지침, 메모리 대역폭 및 스레드 설정을 확인하십시오. vCPU 수만으로는 사용 가능한 처리 용량을 설명하지 않습니다.

VPS가 공유 CPU 시간, 전용 CPU 할당 또는 버스트 크레딧을 사용하는지 묻습니다. 지속 사용 제한을 확인하십시오.

더 큰 서버의 경우 NUMA 배치를 확인하십시오. NUMA는 프로세서가 시스템의 다른 곳에 연결된 메모리를 사용할 때 메모리 액세스가 더 오래 걸릴 수 있음을 의미합니다. 잘못된 배치는 큰 코어 수에도 불구하고 성능을 제한할 수 있습니다.

실제 GPU 할당을 확인합니다

"GPU VPS" 설명에 더 자세한 정보가 필요합니다.

전체 장치 패스스루는 가상 머신에 물리적 GPU를 할당합니다. 기타 서비스는 시간 공유 또는 하드웨어 파티션을 통해 GPU 액세스를 구분합니다. 가상 GPU 서비스는 다른 할당 방법을 사용할 수 있으므로 정확한 배열을 요청하십시오.

NVIDIA의 다중 인스턴스 GPU(MIG)는 지원되는 GPU를 별도의 컴퓨팅 및 메모리 리소스가 있는 인스턴스로 나눕니다. 가상 머신 또는 베어 메탈 배포와 함께 작동할 수 있습니다. MIG 인스턴스는 전체 물리적 GPU가 아닙니다. [1]

GPU 모델, 할당된 메모리, 컴퓨팅 할당 및 공유 정책을 서면으로 요청합니다.

소프트웨어 및 다중 GPU 호환성을 확인하십시오

운영 체제, 드라이버, 추론 엔진 및 양자화 형식에 대한 지원을 확인합니다.

여러 GPU는 자동으로 하나의 더 큰 메모리 풀로 작동하지 않습니다. 귀하의 소프트웨어는 장치 간에 모델 또는 워크로드를 분할하는 것을 지원해야 하며, 이러한 장치 간의 통신은 성능에 영향을 줄 수 있습니다.

CPU 전용 전용 서버는 호환되는 가속기가 필요한 작업 부하를 해결하지 못합니다.

3. RAM, GPU 메모리 및 스토리지를 별도로 계획합니다

시스템 RAM, GPU 메모리 및 디스크 스토리지는 다른 용도로 사용됩니다. 하나를 더 구매한다고 해서 다른 것의 부족이 자동으로 수정되는 것은 아닙니다.

가중치 메모리를 추정합니다

이 시작 계산을 사용하십시오.

원시 가중치 바이트 = 파라미터 카운트 × 파라미터 당 비트 수 ÷ 8

70억 개의 매개변수가 있는 예시 모델의 경우:

 

무게 정밀도 원시 무게 크기, 10진수 GB
16비트 14GB
8비트 7GB
4비트 3.5GB

 

이 수치는 원시 가중치에만 적용됩니다. 양자화 메타데이터, 런타임 버퍼, 임시 할당 및 기타 작업 메모리가 총계에 추가됩니다.

3.5GB 가중치 추정치는 모델이 GPU 메모리의 4GB 내에서 실행된다는 것을 증명하지 않습니다.

컨텍스트 및 동시 요청에 대한 예산

생성 모델은 이전 작업을 반복하지 않도록 키-값 캐시 또는 KV 캐시의 데이터에 주의를 기울입니다. 더 긴 시퀀스와 더 많은 활성 요청은 해당 캐시의 메모리 사용을 증가시킬 수 있습니다. 정확한 동작은 모델 및 캐시 구현에 따라 다릅니다.  

일반적인 요청과 허용하는 가장 긴 요청을 테스트합니다. 짧은 대화 하나를 처리하는 구성은 여러 긴 대화에서 메모리가 부족할 수 있습니다.

일부 런타임은 캐시 데이터를 시스템 RAM에 오프로드하거나 캐시 정밀도를 줄일 수 있습니다. 이러한 옵션에는 성능 균형이 있으며 워크로드 테스트가 필요합니다.  

로딩 및 롤백 스토리지를 포함합니다

모델 파일, 여러 버전, 어댑터, 컨테이너 이미지, 로그 및 임시 다운로드를 위한 디스크 공간을 허용합니다.

롤백에 사용할 수 있는 알려진 작동 버전을 유지합니다. 배포 계획에서 모델을 다운로드, 로드 및 따뜻하게 하는 데 필요한 시간을 포함합니다.

NVMe 스토리지는 스토리지가 많은 작업을 단축할 수 있습니다. 추론하는 동안 충분한 RAM 또는 GPU 메모리를 대체할 수 없습니다.

4. 동시성을 네트워크 경로에 일치시킵니다

요청 속도, 활성 요청 및 배치 크기는 다른 것을 설명합니다.

요청률은 시간 경과에 따른 도착을 측정합니다. 동시성 계산은 아직 진행 중입니다. 배치 크기는 런타임이 그룹으로 처리하는 작업을 설명합니다.

더 긴 출력은 요청을 더 오래 활성 상태로 유지합니다. 도착률이 변경되지 않은 상태에서도 메모리 사용 및 대기열을 늘릴 수 있습니다.

사용자의 대기를 측정합니다

텍스트 생성 서비스의 경우 다음을 추적합니다.

  • 첫 번째 토큰 시간: 요청 전송에서 첫 번째 스트리밍 출력 수신까지 지연됩니다.
  • 스트리밍 갭: 연속적인 출력 이벤트 사이의 시간.
  • 총 요청 시간: 응답이 끝날 때까지 지연됩니다.
  • 대기열 대기: 처리 시작 전 시간.
  • 오류 및 시간 초과: 예상대로 완료되지 않은 요청.

또한 P95 및 P99 대기 시간을 보고합니다. P95 값은 측정된 요청의 95%가 떨어지는 지점 또는 그 이하의 지점을 설명합니다.

테스트 전반에 걸쳐 동일한 측정 포인트를 사용합니다. VLLM은 스트리밍된 출력과 출력당 평균 시간을 구분합니다. 이러한 측정값은 특히 출력 이벤트에 여러 토큰이 포함된 경우 다를 수 있습니다.  

검색 및 데이터 전송을 포함합니다

응용 프로그램은 답변을 반환하기 전에 문서를 가져오거나 벡터 데이터베이스를 쿼리하거나 다른 서비스를 호출할 수 있습니다. 빠른 모델 서버는 이러한 지연을 제거할 수 없습니다.

사용자, API, 추론 작업자, 데이터베이스 및 스토리지 간의 경로를 매핑합니다. 대표적인 사용자 위치에서 테스트합니다.

포트 속도, 트래픽 허용량, 이그레스 요금 및 개인 네트워크 가용성을 확인합니다. 트래픽 추정치에 대규모 모델 다운로드 및 이미지 또는 오디오 업로드를 포함합니다.

서버 위치는 데이터 배치의 일부일 뿐입니다. 로그, 백업, 서비스 및 외부 API는 다른 곳에서 데이터를 처리하거나 저장할 수 있습니다.

5. 격리, 보안 및 복구 요구 사항을 설정합니다

필요한 경계를 정의합니다

전용 물리적 호스트, 전용 CPU 할당, 전체 GPU 또는 별도의 스토리지가 필요한지 여부를 지정합니다.

이러한 요구 사항은 상호 교환할 수 없습니다. VM에는 호스트의 CPU 및 네트워크 리소스를 공유하는 동안 전용 GPU가 있을 수 있습니다.

Bare Metal은 일부 공유 호스트 문제를 제거하지만 노출된 애플리케이션 엔드포인트를 보호하지는 않습니다. 운영 체제, 액세스 규칙, 추론 서비스 및 데이터 처리에는 여전히 제어가 필요합니다.

엔드포인트와 저장된 데이터를 보호합니다

인증이 필요하고, 관리 액세스를 제한하고, 요청 속도, 입력 크기 및 출력 길이에 대한 제한을 설정합니다.

모델 파일 및 공용 저장소에서 비밀을 유지합니다. 모델 소스를 확인하고 로드하는 데 필요한 사용자 지정 코드를 검토합니다.

프롬프트와 출력이 로그에 속하는지 여부를 결정합니다. 업로드된 파일, 생성된 콘텐츠, 백업 및 공유 캐시에 대한 보존 및 액세스 규칙을 설정합니다.

배포 전에 패치 및 모니터링 책임을 할당합니다. 소유권이 불분명하면 공급자와 고객 모두가 상대방이 행동하기를 기대하게 될 수 있습니다.

스냅샷을 넘어 복구를 테스트합니다

VPS 스냅샷이 실행 중인 모델의 GPU 상태를 유지한다고 가정하지 마십시오. 지원되는 스냅샷 동작을 확인하고 애플리케이션 재시작을 테스트합니다.

적절한 보안 프로세스를 통해 구성, 배포 파일, 자격 증명 및 다시 만들 수 없는 모든 데이터를 백업합니다. 올바른 모델 버전에 대한 액세스를 확인합니다.

허용되는 가장 긴 중단과 최근 데이터의 양을 정의합니다.

단일 VPS와 단일 전용 서버가 모두 실패할 수 있습니다. 더 짧은 중단이 필요한 서비스는 별도의 장애 도메인에서 두 번째 복제본, 건강 기반 트래픽 라우팅 및 하나의 복제본이 중지된 후 트래픽을 전달할 수 있는 용량이 필요할 수 있습니다.

6. 용량을 테스트하고 운영 비용을 비교합니다

비교를 공정하게 유지하십시오

동일한 모델 개정, 런타임, 정밀도, 요청 믹스, 출력 설정 및 품질 검사를 사용합니다.

가상화 오버헤드 클레임의 경우 동등한 기본 하드웨어 및 리소스 할당을 비교합니다. 하드웨어가 다른 경우 결과를 두 배포의 비교로 처리하십시오.

다른 엔지니어가 테스트를 반복할 수 있도록 소프트웨어 버전, 테스트 기간, 요청 수, 워밍업, 클라이언트 위치 및 캐시 상태를 기록합니다.

최고의 경우보다 더 많이 테스트하십시오

일반 트래픽, 짧은 버스트, 지속 피크, 긴 입력 및 콜드 시작을 실행합니다. 조용한 시간에 의존하기보다 테스트를 반복하십시오.

대기열 증가, 메모리 사용, 오류 및 지연 시간 변화를 확인합니다. 재시작 또는 장애 조치(failover) 동작을 테스트하고 나머지 용량이 필요한 서비스 수준을 충족하는지 확인합니다.

반복되는 프롬프트는 캐시 재사용을 통해 결과를 더 좋게 만들 수 있습니다. VLLM은 동일한 서버에 대해 벤치마크를 반복하면 캐시된 접두사를 재사용하고 처리량을 팽창시킬 수 있다고 경고합니다. 프로덕션 트래픽에 캐시 동작을 일치시키거나 관련 테스트 간에 재설정합니다.  

 

검사 통과 조건
출력 품질 신청서의 승인 기준을 충족합니다
정상적인 교통 응답 및 오류 대상을 충족합니다
피크 트래픽 대기열과 시간 초과를 합의된 한도 내에서 유지합니다
기억 할당 실패 없이 허용된 입력 및 동시성을 처리합니다
콜드 스타트 배포 대상 내에서 준비됩니다
회복 필요한 중단 한도 내에서 서비스를 복원합니다
비용 예상 사용량의 예산에 맞습니다

테스트하기 전에 통과 조건을 설정하십시오.

수락된 요청당 비용을 계산합니다

가장 낮은 월별 인보이스는 유용한 결과당 가장 높은 비용을 생성할 수 있습니다.

사용:

1,000건의 요청당 비용 = 총 기간 비용 ÷ 수락 요청 × 1,000

합의된 품질 및 지연 시간 기준을 충족하는 요청을 계산합니다. 서버 요금, 트래픽, 스토리지, 백업, 라이선스, 모니터링, 운영 작업 및 예비 용량을 포함합니다.

설명을 위해 기간 동안 $300의 비용이 들며 600,000개의 수락 요청을 완료하는 데 드는 배포 비용은 1,000개의 승인된 요청당 $0.50입니다. 이것은 Atal Networks 따옴표나 벤치마크가 아닌 계산 예입니다.

유사한 입력 및 출력 크기를 비교하십시오. 혼합 워크로드의 경우 요청 유형별로 결과를 구분합니다.

VPS는 수요가 적거나 고르지 않을 때 비용이 적게 들 수 있습니다. 베어메탈은 지속적으로 사용하면 더 나은 경제성을 제공할 수 있습니다. 현재 견적과 실제 워크로드를 사용하여 크로스오버를 측정합니다.

7. Atal Networks에 명확한 배포 개요를 가져옵니다

유용한 인프라 논의는 애플리케이션과 그 제약 조건으로 시작됩니다.

이 체크리스트를 저희와 공유하세요:

  • 모델명, 개정, 런타임, 정밀도, 라이센스.
  • 테스트에서 지원하는 CPU 또는 GPU 요구 사항.
  • 피크 시스템 RAM 및 GPU 메모리 사용.
  • 일반 및 최대 입력 및 출력 크기.
  • 예상 요청 속도, 동시성 및 버스트 기간.
  • 응답 시간, 품질 및 가용성 목표.
  • 사용자, 응용 프로그램, 데이터베이스 및 저장된 데이터 위치.
  • 저장 용량, 성장 및 전송 요구 사항.
  • 격리, 개인 네트워킹, IPv4/IPv6 및 액세스 요구 사항.
  • 백업, 복구, 관리, 예산 및 배포 요구 사항.

커밋하기 전에 제안된 하드웨어, 할당, 호환성, 서비스 조건 및 가용성을 확인하도록 요청하십시오. 여전히 용량 테스트가 필요한 모든 요구 사항을 식별합니다.

Atal Networks와 모델, 예상 요청 패턴, 데이터 위치 및 인프라 요구 사항을 공유하여 적절한 옵션을 논의하십시오.

자주 묻는 질문

VPS가 GPU 없이 AI 추론을 실행할 수 있습니까?

네. CPU 기반 VPS는 호환되는 추론 소프트웨어와 모델을 실행할 수 있습니다. 적합성은 메모리, 프로세서 할당, 요청 크기 및 필요한 응답 시간에 따라 다릅니다. 프로덕션 서비스를 위해 선택하기 전에 현실적인 트래픽을 테스트하십시오.

베어메탈은 추론을 위해 항상 VPS보다 빠릅니까?

아니요. 성능은 하드웨어, 리소스 할당, 소프트웨어 및 워크로드에 따라 다릅니다. 적합한 가상 머신은 이전 물리적 서버를 능가할 수 있습니다. 전체 배포를 비교하고 사용자가 경험하는 응답 시간을 측정합니다.

GPU VPS에 전체 GPU가 포함되어 있습니까?

반드시 그런 것은 아닙니다. 계획은 전체 장치, 하드웨어 파티션 또는 공유 액세스를 제공할 수 있습니다. 계획 이름에 의존하지 않고 GPU 모델, 사용 가능한 메모리, 컴퓨팅 할당 및 공유 정책을 확인합니다.

메모리에 모델을 장착하면 피크 트래픽을 처리할 수 있음을 증명합니까?

아니요. 런타임 메모리, 캐시, 입력 길이 및 동시 요청은 가중치 파일을 넘어 수요를 증가시킬 수 있습니다. 예상되는 피크 로드에서 지원되는 가장 큰 요청을 테스트합니다.

더 많은 시스템 RAM이 GPU 메모리를 대체할 수 있습니까?

일부 런타임은 선택한 데이터 또는 계산을 CPU 및 시스템 RAM으로 이동하는 것을 지원합니다. 그렇다고 해서 RAM이 GPU 메모리와 동등하지 않습니다. 호환성 및 이전 비용은 계약이 귀하의 응답 목표를 충족하는지 여부를 결정합니다.

VPS 스냅샷이 추론 서비스를 복구하기에 충분합니까?

그 자체가 아닙니다. 복구는 또한 모델 액세스, 구성, 자격 증명, 응용 프로그램 데이터 및 재시작 동작에 따라 달라집니다. 복원을 테스트하고 특정 배포에 대한 공급자의 스냅샷 지원을 확인합니다.

하루에 요청에서 서버를 선택할 수 있습니까?

일일 합계는 버스트 크기, 처리 시간 및 입력 복잡성을 놓칩니다. 정상 및 최대 도착률, 요청 크기, 활성 요청 및 응답 대상을 사용합니다. 이러한 측정은 보다 유용한 용량 추정치를 지원합니다.

위로 스크롤
Seraphinite AcceleratorBannerText_Seraphinite Accelerator
Turns on site high speed to be attractive for people and search engines.