...

Bare Metal vs VPS pour l'inférence d'IA : liste de contrôle de la planification

Bare Metal vs VPS pour l'inférence d'IA - Liste de contrôle de la planification

Une VPS Peut exécuter une inférence AI si son processeur, sa mémoire et tout GPU requis répondent aux objectifs de réponse de votre application. métal nu mérite un examen plus approfondi lorsque vous avez besoin de contrôle sur les ressources physiques ou une capacité soutenue suffisante pour justifier un serveur entier.

La décision entre le bare-metal vs VPS pour l'inférence d'IA commence par la charge de travail. Un modèle qui se charge avec succès peut toujours avoir des difficultés avec de longues entrées, des utilisateurs simultanés ou un délai de réponse strict.

Dans ce guide, nous séparons ces exigences afin que vous puissiez apporter à Atal Networks un brief d'infrastructure clair.

Bare Metal et VPS : comparez les ressources derrière le label

Un VPS s'exécute en tant que machine virtuelle sur un hôte physique. La politique d'allocation du fournisseur détermine la quantité de processeur, de mémoire, de stockage et de capacité réseau qu'il peut utiliser.

Bare Metal vous offre un serveur physique sans hyperviseur de fournisseur entre votre système d'exploitation et le matériel. Vous pouvez toujours exécuter des conteneurs ou vos propres machines virtuelles.

Aucun des deux étiquettes ne confirme l'accès au GPU. Un serveur dédié peut ne pas avoir d'accélérateur, tandis qu'une machine virtuelle GPU peut recevoir un périphérique entier.

Décision Considérations relatives aux VPS Considérations nues sur le métal
CPU VCPU partagés ou dédiés, planification, limites soutenues Génération de processeurs, cœurs physiques, disposition de la mémoire
processeur central Disponibilité, appareil ou partition entier, politique de partage Périphériques installés, mémoire GPU, interconnexion
Mémoire Affectation RAM et limites de la mémoire GPU Capacité installée et mémoire utilisable
Performance Latence de la demande sous les ressources allouées Latence de l'application sur le matériel sélectionné
Coût Capacité allouée, temps d'inactivité, trafic, stockage Coût du serveur entier, capacité inutilisée, capacité de réserve
Récupération Redémarrer, redimensionner, échec de l'hôte, termes de migration Remplacement du matériel, reconstruction, termes de restauration

Un VPS qui répond à vos objectifs de service peut prendre en charge l'inférence de production. Le métal nu devient un candidat plus fort lorsque les tests ou les exigences d'isolation montrent une raison de l'utiliser.

Pour les différences d'hébergement plus larges, lisez notre Comparaison des serveurs dédiés et des hébergements VPS.

1. Définissez votre charge de travail d'inférence

L'inférence exécute un modèle formé pour produire une sortie. La formation et le réglage fin ont besoin d'une planification distincte des capacités.

Commencez par la révision exacte du modèle, le logiciel de service et la précision numérique. Précision décrit la façon dont le système représente les valeurs du modèle. La quantification réduit leur largeur de bits, ce qui peut réduire l'utilisation de la mémoire mais peut affecter la qualité de sortie et la compatibilité matérielle.

Enregistrez ces entrées avant de comparer les plans :

  • Application : Chat, recherche de documents, classification, images ou discours.
  • Modèle : Nom, révision, licence et temps d'exécution requis.
  • Taille de la demande : Entrée et sortie typiques et maximales.
  • Trafic : Arrivées normales, arrivées maximales et durée de l'éclatement.
  • Cible de réponse : délai acceptable ou délai d'achèvement du lot.
  • Cible de qualité : Le résultat spécifique à la tâche que votre application doit conserver.

Separate Interactive Requests From Batch Jobs

Un service de chat orienté vers les clients a besoin de temps de réponse acceptables pendant les périodes d'occupation. Un travail de document du jour au lendemain peut tolérer une file d'attente s'il se termine avant sa date limite.

Ces charges de travail peuvent nécessiter un matériel différent même s'ils traitent le même nombre de demandes chaque jour.

Évitez les tailles des totaux quotidiens seuls. Un millier de courtes demandes de classification réparties sur une journée créent une charge différente de mille requêtes de documents longues arrivant en quelques minutes.

Utilisez la bonne unité de travail

Mesurez la génération de texte à l'aide des longueurs d'entrée, des longueurs de sortie et du temps de réponse. Pour les intégrations, suivez les documents ou les passages traités par seconde.

Pour les charges de travail d'images, les dimensions d'enregistrement et les paramètres de traitement. Pour la parole, enregistrez la durée de l'audio et si l'application a besoin d'un traitement en direct.

Nous vous recommandons de définir une qualité acceptable avant de changer de précision ou de matériel. Une configuration plus rapide offre peu de valeur si sa sortie échoue aux contrôles de qualité de l'application.

2. Vérifiez les exigences du CPU et de l'accélérateur

Assess CPU Inference First Where It Fits

Certaines classifications, intégrations et charges de travail de petite génération peuvent atteindre leurs objectifs sur les CPU. La question utile est de savoir si le modèle et le temps d'exécution que vous avez choisis respectent le temps de réponse requis sous charge.

Vérifiez la génération du processeur, les instructions prises en charge, la bande passante mémoire et les paramètres de fil. Un nombre de vCPU à lui seul ne décrit pas la capacité de traitement disponible.

Demandez si le VPS utilise du temps CPU partagé, des allocations CPU dédiées ou des crédits de rafale. Confirmez les limites d'utilisation soutenue.

Pour les serveurs plus volumineux, vérifiez le placement de NUMA. NUMA signifie que l'accès à la mémoire peut prendre plus de temps lorsqu'un processeur utilise de la mémoire attachée ailleurs dans le système. Un mauvais placement peut limiter les performances malgré un nombre de cœurs important.

Confirmer l'allocation réelle du GPU

Une description « GPU VPS » nécessite plus de détails.

Le passthrough Whole-Device attribue un GPU physique à une machine virtuelle. D'autres services divisent l'accès au GPU via le partage de temps ou des partitions matérielles. Un service de GPU virtuel peut utiliser différentes méthodes d'allocation, alors demandez l'arrangement exact.

Le GPU multi-instance de NVIDIA, ou MIG, divise les GPU pris en charge en instances avec des ressources de calcul et de mémoire distinctes. Il peut fonctionner avec des machines virtuelles ou des déploiements nus. Une instance MIG n'est pas un GPU physique entier. [1]

Demandez le modèle GPU, la mémoire allouée, l'allocation de calcul et la politique de partage par écrit.

Vérifiez les logiciels et la compatibilité multi-GPU

Confirmez la prise en charge de votre système d'exploitation, des pilotes, du moteur d'inférence et du format de quantification.

Plusieurs GPU ne se comportent pas automatiquement comme un pool de mémoire plus grand. Votre logiciel doit prendre en charge la division du modèle ou de la charge de travail entre les appareils, et la communication entre ces appareils peut affecter les performances.

Un serveur dédié uniquement CPU ne résoudra pas une charge de travail qui nécessite un accélérateur compatible.

3. Planifiez la mémoire RAM, la mémoire GPU et le stockage séparément

La RAM système, la mémoire GPU et le stockage sur disque ont des objectifs différents. En acheter plus d'un ne résout pas automatiquement une pénurie d'un autre.

Estimer la mémoire de poids

Utilisez ce calcul de départ :

Poids brut octets = nombre de paramètres × bits par paramètre ÷ 8

Pour un modèle illustratif avec sept milliards de paramètres :

 

précision des poids Taille brute, GB
16 bits 14 Go
8 bits 7 Go
4 bits 3,5 Go

 

Ces chiffres ne couvrent que les poids bruts. Les métadonnées de quantification, les tampons d'exécution, les allocations temporaires et d'autres mémoires de travail sont ajoutés au total.

Une estimation de poids de 3,5 Go ne prouve pas que le modèle fonctionnera à moins de 4 Go de la mémoire GPU.

Budget pour le contexte et les demandes simultanées

Les modèles génératifs retiennent souvent l'attention sur les données dans un cache clé-valeur, ou un cache KV, pour éviter de répéter les travaux antérieurs. Des séquences plus longues et des demandes plus actives peuvent augmenter l'utilisation de la mémoire du cache. Le comportement exact dépend du modèle et de l'implémentation du cache.  

Testez les demandes typiques et les demandes les plus longues que vous autorisez. Une configuration qui gère une courte conversation peut manquer de mémoire lors de plusieurs longues conversations.

Certains temps d'exécution peuvent décharger des données de cache sur la RAM du système ou réduire la précision du cache. Ces options ont des compromis de performance et nécessitent des tests de charge de travail.  

Inclure le chargement et le stockage en restauration

Autorisez l'espace disque pour les fichiers de modèles, les versions multiples, les adaptateurs, les images de conteneur, les journaux et les téléchargements temporaires.

Gardez une version de travail connue disponible pour la restauration. Incluez le temps nécessaire pour télécharger, charger et réchauffer le modèle dans votre plan de déploiement.

Le stockage NVMe peut raccourcir les opérations de stockage. Il ne peut pas remplacer une mémoire RAM ou GPU suffisante pendant l'inférence.

4. Associez la simultanéité au chemin du réseau

Le taux de demandes, les demandes actives et la taille des lots décrivent différentes choses.

Demander le tarif mesure les arrivées dans le temps. La concurrence compte les demandes toujours en cours. La taille des lots décrit les travaux que les processus d'exécution sont en tant que groupe.

Les sorties plus longues maintiennent les demandes actives plus longtemps. Cela peut augmenter l'utilisation de la mémoire et la mise en file d'attente même si le taux d'arrivée reste inchangé.

Mesurer l'attente de l'utilisateur

Pour un service de génération de texte, suivez :

  • Délai de premier jeton : délai d'envoi d'une requête à la réception de sa première sortie en streaming.
  • Les écarts de streaming : temps entre les événements de sortie successifs.
  • Temps de demande total : retarder jusqu'à la fin de la réponse.
  • Attendre la file d'attente : temps avant le début du traitement.
  • Erreurs et délais d'attente : les demandes qui ne parviennent pas à se terminer comme prévu.

Rapportez également la latence P95 et P99. Une valeur P95 décrit le point à ou en dessous duquel tombent 95% de demandes mesurées.

Utilisez les mêmes points de mesure à travers les tests. VLLM distingue les écarts entre les sorties de flux du temps moyen par jeton de sortie. Ces mesures peuvent différer, en particulier lorsqu'un événement de sortie contient plusieurs jetons.  

Inclure la récupération et les transferts de données

Une application peut récupérer des documents, interroger une base de données vectorielle ou appeler un autre service avant de retourner une réponse. Un serveur de modèle rapide ne peut pas supprimer ces délais.

Mappez l'itinéraire entre les utilisateurs, l'API, les travailleurs d'inférence, les bases de données et le stockage. Test from representative user locations.

Vérifiez la vitesse du port, l'allocation de trafic, les frais de sortie et la disponibilité du réseau privé. Incluez des téléchargements de grands modèles et des téléchargements d'images ou d'audio dans l'estimation du trafic.

L'emplacement du serveur n'est qu'une partie du placement des données. Les journaux, les sauvegardes, les services de récupération et les API externes peuvent traiter ou stocker des données ailleurs.

5. Définir les exigences d'isolation, de sécurité et de récupération

Définissez la limite dont vous avez besoin

Spécifiez si vous avez besoin d'un hôte physique exclusif, d'une allocation de processeur dédiée, d'un GPU entier ou d'un stockage séparé.

Ces exigences ne sont pas interchangeables. Une machine virtuelle peut avoir un GPU dédié tout en partageant le processeur et les ressources réseau de son hôte.

Bare Metal supprime certaines préoccupations partagées, mais il ne sécurise pas un point de terminaison d'application exposé. Votre système d'exploitation, vos règles d'accès, votre service d'inférence et votre traitement des données ont toujours besoin de contrôles.

Protéger le point de terminaison et les données stockées

Exiger une authentification, limiter l'accès administratif et définir des limites pour le taux de demande, la taille d'entrée et la longueur de sortie.

Gardez les secrets hors des fichiers de modèles et des référentiels publics. Vérifiez les sources du modèle et passez en revue tout code personnalisé dont le chargement nécessite.

Décidez si les invites et les sorties appartiennent aux journaux. Définissez des règles de conservation et d'accès pour les fichiers téléchargés, le contenu généré, les sauvegardes et les caches partagés.

Attribuez des tâches de correction et de surveillance avant le déploiement. Une propriété peu claire peut laisser le fournisseur et le client s'attendant à ce que l'autre partie agisse.

Tester la récupération au-delà d'un instantané

Ne présumez pas qu'un snapshot VPS conserve l'état GPU d'un modèle en cours d'exécution. Confirm the supported snapshot behavior and test an application restart.

Sauvegardez les configurations, les fichiers de déploiement, les informations d'identification via un processus sécurisé approprié et les données que vous ne pouvez pas recréer. Confirmez l'accès à la version correcte du modèle.

Définissez la plus longue interruption acceptable et la quantité de données récentes que vous pouvez vous permettre de perdre.

Un seul VPS et un seul serveur dédié peuvent tous les deux échouer. Les services nécessitant des interruptions plus courtes peuvent nécessiter un deuxième réplica dans un domaine de défaillance distinct, le routage du trafic basé sur la santé et la capacité de transporter le trafic après l'arrêt d'une réplique.

6. Testez la capacité et comparez les coûts d'exploitation

Gardez la comparaison équitable

Utilisez le même modèle de révision, d'exécution, de précision, de mixage de requêtes, de paramètres de sortie et de contrôle de qualité.

Pour une demande de frais généraux de virtualisation, comparez les allocations de matériel et de ressources sous-jacentes équivalentes. Si le matériel diffère, traitez le résultat comme une comparaison de deux déploiements.

Enregistrez les versions du logiciel, la durée du test, le nombre de demandes, l'échauffement, l'emplacement du client et l'état du cache afin qu'un autre ingénieur puisse répéter le test.

Testez plus que le meilleur cas

Exécutez le trafic normal, les rafales courtes, les pics soutenus, les entrées longues et les démarrages à froid. Répétez les tests plutôt que de vous fier à une période de silence.

Regardez la croissance de la file d'attente, l'utilisation de la mémoire, les erreurs et la variation de latence. Testez le comportement de redémarrage ou de basculement et confirmez que la capacité restante atteint le niveau de service requis.

Les invites répétées peuvent améliorer l'apparence grâce à la réutilisation du cache. VLLM avertit que la répétition d'un indice de référence par rapport au même serveur peut réutiliser les préfixes en cache et gonfler le débit. Faites correspondre le comportement du cache au trafic de production ou réinitialisez-le entre les tests pertinents.  

 

Vérifier état de passage
Qualité de sortie Répond aux critères d'acceptation de votre candidature
trafic normal Atteint les objectifs de réponse et d'erreur
trafic de pointe Conserve les files d'attente et les délais d'attente dans les limites convenues
Mémoire Gère les entrées et la concurrence autorisées sans échec d'allocation
démarrage à froid Devient prêt dans la cible de déploiement
Récupération Restaure le service dans la limite d'interruption requise
Coût S'adapte au budget à l'utilisation prévue

Définissez les conditions de passage avant de tester.

Calculer le coût par demande acceptée

La facture mensuelle la plus basse peut entraîner le coût le plus élevé par résultat utile.

Utilisation :

Coût par 1 000 demandes acceptées = Coût total de la période ÷ Demandes acceptées × 1 000

Compter les demandes qui répondent aux critères de qualité et de latence convenus. Inclure les frais de serveur, le trafic, le stockage, les sauvegardes, les licences, la surveillance, le travail opérationnel et la capacité de réserve.

À titre d'illustration, un déploiement coûtant $300 au cours d'une période et remplissant 600 000 de demandes coûte 1 TP4 0,50 pour 1 000 demandes acceptées. Il s'agit d'un exemple de calcul, et non d'un devis ou d'un benchmark Atal Networks.

Comparez des tailles d'entrée et de sortie similaires. Pour les charges de travail mixtes, séparez les résultats par type de requête.

Un VPS peut coûter moins cher lorsque la demande est modeste ou inégale. Le métal nu peut offrir une meilleure économie avec une utilisation soutenue. Mesurez le crossover à l'aide des devis actuels et de votre charge de travail réelle.

7. Apportez à Atal Networks un mémoire de déploiement clair

Une discussion utile sur l'infrastructure commence par l'application et ses contraintes.

Partagez cette liste de contrôle avec nous :

  • Nom du modèle, révision, exécution, précision et licence.
  • Exigences en matière de CPU ou de GPU prises en charge par vos tests.
  • Utilisation de pointe de mémoire RAM et GPU.
  • Tailles d'entrée et de sortie typiques et maximales.
  • Taux de demandes, concurrence et durée de rafale attendus.
  • Objectifs du temps de réponse, de la qualité et de la disponibilité.
  • Emplacements d'utilisateur, d'application, de base de données et de données stockées.
  • Capacité de stockage, croissance et besoins de transfert.
  • Isolation, réseau privé, IPv4/IPv6 et exigences d'accès.
  • Sauvegarde, restauration, gestion, budget et exigences de déploiement.

Demandez-nous de confirmer le matériel proposé, l'allocation, la compatibilité, les conditions de service et la disponibilité avant de valider. Identifiez toutes les exigences qui nécessitent encore un test de capacité.

Partagez votre modèle, le modèle de demande attendu, l'emplacement des données et les exigences d'infrastructure avec Atal Networks pour discuter des options appropriées.

Questions fréquemment posées

Un VPS peut-il exécuter une inférence AI sans GPU ?

Oui. Un VPS basé sur un processeur peut exécuter des logiciels et des modèles d'inférence compatibles. L'adéquation dépend de la mémoire, de l'allocation du processeur, de la taille de la demande et du temps de réponse requis. Testez le trafic réaliste avant de le choisir pour un service de production.

Le bare metal est-il toujours plus rapide qu'un VPS pour l'inférence ?

Non. Les performances dépendent du matériel, de l'allocation des ressources, des logiciels et de la charge de travail. Une machine virtuelle appropriée peut surpasser un ancien serveur physique. Comparez les déploiements complets et mesurez le temps de réponse que vos utilisateurs expérimentent.

Un VPS GPU inclut-il un GPU entier ?

Pas forcément. Un plan peut fournir un périphérique entier, une partition matérielle ou un accès partagé. Confirmez le modèle GPU, la mémoire utilisable, l'allocation de calcul et la politique de partage plutôt que de se fier au nom du plan.

Le montage du modèle en mémoire prouve-t-il qu'il peut gérer le trafic de pointe ?

Non. La mémoire d'exécution, les caches, les longueurs d'entrée et les requêtes simultanées peuvent augmenter la demande au-delà des fichiers de poids. Testez les plus grandes demandes prises en charge sous la charge de pointe attendue.

Plus de RAM système peut-elle remplacer la mémoire GPU ?

Certains temps d'exécution prennent en charge le déplacement de données ou de calculs sélectionnés vers la CPU et la RAM du système. Cela ne rend pas la mémoire RAM équivalente à la mémoire GPU. Les coûts de compatibilité et de transfert déterminent si l'arrangement répond à votre objectif de réponse.

Un snapshot VPS est-il suffisant pour récupérer un service d'inférence ?

pas par lui-même. La récupération dépend également de l'accès au modèle, de la configuration, des informations d'identification, des données d'application et du comportement de redémarrage. Testez la restauration et confirmez la prise en charge du snapshot du fournisseur pour le déploiement spécifique.

Pouvons-nous choisir un serveur parmi les demandes par jour ?

Les totaux quotidiens manquent la taille de la rafale, le temps de traitement et la complexité des entrées. Utilisez les taux d'arrivée normaux et de pointe, la taille des demandes, les demandes actives et les objectifs de réponse. Ces mesures confirment une estimation de capacité plus utile.

Défiler vers le haut
Seraphinite AcceleratorBannerText_Seraphinite Accelerator
Turns on site high speed to be attractive for people and search engines.