...

LLMS d'auto-hébergement sur un serveur dédié : guide de dimensionnement du matériel

Guide de dimensionnement du matériel LLM auto-hébergé 1

Pour auto-héberger un LLM sur un serveur dédié, dimensionnez le matériel pour le modèle, la longueur du contexte, les requêtes actives et la cible du temps de réponse. Budget pour les pondérations des modèles, la mémoire de demande, les frais généraux d'exécution, la RAM système, le travail CPU et le stockage. Un modèle qui se charge avec succès a passé un contrôle de mémoire, et non un test de capacité de production.

L'écart devient clair pendant une heure chargée. Une courte demande fonctionne. Plusieurs utilisateurs soumettent de longs documents, la file d'attente de demandes augmente et le même serveur manque de mémoire ou prend trop de temps pour répondre.

Évitez ce problème en planifiant dans cet ordre :

  1. Définissez le modèle exact et le profil de demande.
  2. Calculez la mémoire de poids et la mémoire cache séparément.
  3. Budget pour le serveur complet et les services de soutien.
  4. Testez le trafic réaliste par rapport aux objectifs de temps de réponse et de qualité.
  5. Comparez les coûts complets pour les configurations qui passent.

Commencez par le modèle et le profil de demande

Le dimensionnement du serveur commence par ce que l'application doit faire. "Gérer un LLM pour notre équipe" est trop large pour produire une recommandation matérielle utile.

Enregistrez ces entrées avant de comparer les serveurs :

Contribution Quoi enregistrer
Modèle Nom, révision, architecture et licence exacts
Format de poids FP16, BF16 ou l'artefact quantifié spécifique
Le contexte Nombre de jetons normaux et maximal et maximal
Trafic Générations actives, taux d'arrivée et comportement d'éclatement
Performance Délai de premier jeton et temps d'exécution acceptable
Qualité Tâches que le modèle doit exécuter correctement
Autres services Intégration, reclassement, recherche de vecteurs, API et surveillance
opérations Mettre à jour le processus, les besoins de récupération et la réserve de croissance

Le contexte comprend les instructions système, l'historique des discussions, le texte récupéré, l'entrée utilisateur et la sortie générée. Une courte question peut produire une entrée de modèle longue si l'application ajoute plusieurs documents.

Séparez également les utilisateurs des demandes actives. Un service avec 100 utilisateurs enregistrés peut avoir seulement quelques générations en cours d'exécution. Un agent utilisé par une seule personne peut émettre plusieurs demandes au cours d'une même tâche.

Pour une définition du processus de service, voir Ce que signifie l'inférence d'IA.

Gardez l'inférence séparée de la formation

Ce guide couvre l'inférence : l'utilisation d'un modèle déjà formé pour produire une réponse. L'entraînement et le réglage fin peuvent nécessiter une mémoire supplémentaire pour les gradients, l'état de l'optimiseur et les activations, selon la méthode.

N'utilisez pas de table de dimensionnement d'inférence comme recommandation de formation. Si la même machine doit servir les utilisateurs et exécuter des travaux de réglage précis, testez le calendrier combiné ou séparez ces charges de travail.

Calculer d'abord la mémoire modèle-poids

Les poids du modèle sont les valeurs numériques stockées utilisées lors de l'inférence. Leur empreinte mémoire fournit le point de départ d'un budget matériel.

Mémoire de poids idéalisée en octets = nombre de paramètres × bits par poids ÷ 8

Pour un modèle nominal de huit milliards de paramètres à 16 bits :

8 000 000 000 × 16 ÷ 8 = 16 000 000 000 octets ou 16 Go

À quatre bits idéalisés par poids, le même calcul donne 4 Go.

Taille nominale du modèle Plancher de poids FP16/BF16 Plancher de poids 8 bits Plancher de poids 4 bits
8B 16 Go 8 Go 4 Go
14B 28 Go 14 Go 7 Go
32b 64 Go 32 Go 16 Go
70b 140 Go 70 Go 35 Go

Ces chiffres ne couvrent que les poids idéalisés. Ils excluent le cache de requêtes, les tampons de travail, les métadonnées de quantification et d'autres allocations d'exécution. Le modèle exact peut également avoir plus de paramètres que son nom arrondi ne le suggère.

Pourquoi un fichier 4 bits a besoin de plus que le calcul brut

Un artefact quantifié peut contenir des valeurs d'échelle, des métadonnées et des tenseurs stockés à d'autres précisions. Sa taille téléchargée et son encombrement mémoire chargé peuvent différer.

Enregistrez l'artefact exact, puis inspectez la mémoire après l'avoir chargée dans le temps d'exécution prévu. Ne traitez pas tous les formats intitulés « 4 bits » comme interchangeables.

La réduction de la précision du poids ne réduit pas non plus automatiquement la précision du cache de la demande. Ce sont des paramètres distincts avec une compatibilité et des contrôles de qualité distincts.

Utiliser les paramètres totaux pour la planification du poids MOE

Un modèle de mélange d'experts, ou modèle MOE, active uniquement une partie de son réseau d'experts pour chaque jeton. Cela peut réduire le calcul par rapport à l'utilisation de chaque expert, mais les autres poids nécessitent toujours un plan de placement.

Pour une résidence complète, le budget du modèle stocké, pas seulement le nombre de paramètres actif. Le déchargement d'experts et le placement distribué peuvent changer là où la mémoire est utilisée, mais ils introduisent leurs propres coûts de transfert et d'exécution.

Gardez GB et GIB cohérents

Un Go est un milliard d'octets. Un GIB est de 1 073 741 824 octets. Une charge utile de 4 Go est d'environ 3,73 Gio.

Convertissez des valeurs dans la même unité avant de soustraire la mémoire du modèle d'un budget d'appareil. Utilisez la mémoire disponible réelle indiquée pour le déploiement plutôt que de mélanger une étiquette de produit avec une mesure signalée différemment.

Ajouter le cache KV, la longueur du contexte et les requêtes simultanées

Le cache clé-valeur, généralement appelé le cache KV, stocke les données d'attention utilisées pendant que le modèle génère du texte. Les poids des modèles peuvent être partagés entre les demandes dans une instance de modèle, mais les séquences actives nécessitent également un état de requête.

C'est pourquoi des contextes plus longs et des demandes plus actives peuvent consommer de la mémoire même lorsque le modèle chargé ne change pas.

Pour un décodeur conventionnel avec la même disposition d'attention complète dans chaque couche, estimez la charge utile logique du cache comme :

kV octets ≈ 2 × couches × têtes × tête × tête × octets par valeur mise en cache × jetons total mis en cache

Le facteur de deux tient compte des clés et des valeurs. Total des jetons mis en cache signifie la somme dans les séquences actives. Si toutes les séquences ont la même longueur, multipliez cette longueur par le nombre de séquences actives.

Ce n'est pas une formule universelle pour chaque modèle. L'attention des fenêtres glissantes, d'autres architectures de cache, la quantification du cache et les règles d'allocation d'exécution peuvent modifier le calcul. Hugging Face Documents en cache des stratégies avec un comportement de mémoire différent, y compris les limites des couches de fenêtres glissantes et d'attention. 

Un exemple de cache travaillé

Meta’s Llama 3.1 8B configuration uses 32 layers, 32 attention heads, eight KV heads, and a hidden dimension of 4,096. The head dimension is 4,096 ÷ 32 = 128.

Supposons un cache kV de deux octets, une attention complète et aucun partage de préfixe :

2 × 32 × 8 × 128 × 2 = 131 072 octets par jeton mis en cache par séquence

Cela équivaut à 128 Ko. 

Jetons mis en cache par séquence Séquences actives Charge utile logique calculée en kV
8,192 1 1 gib
8,192 4 4 gib
32,768 4 16 gib
32,768 8 32 gib

Le modèle est inchangé, mais la mémoire de demande change fortement. C'est pourquoi l'ajout d'un pourcentage fixe à la taille du modèle ne peut pas tenir compte de chaque contexte et objectif de concurrence.

Il s'agit de charges utiles calculées, et non d'allocations GPU mesurées. Un temps d'exécution peut réserver des blocs de cache à l'avance ou conserver des allocations pour les réutiliser. La mémoire signalée par un outil de surveillance peut donc différer de la charge utile du jeton Live.

Créer un budget de mémoire GPU complet

Pour un déploiement entièrement résidant en GPU, commencez par :

Budget mémoire GPU = poids chargés + allocation kV + mémoire de travail d'exécution + réserve de fonctionnement

Utilisez les valeurs d'exécution mesurées lorsque cela est possible. Évitez de compter deux fois le même pool de cache réservé.

Exemple : un assistant de contexte court par rapport à un service partagé

Ce qui suit est un scénario pédagogique, pas une référence Atal. Supposons :

  • Poids quantifiés chargés : 5 Gio.
  • Autre mémoire de travail d'exécution : 2 Gio.
  • Réserve d'exploitation : 2 GIB.
  • Mise en page du cache de l'exemple Llama 3.1 8b ci-dessus.
Élément de mémoire Assistant à court contexte Service partagé de contexte plus long
Séquences actives 1 4
Jetons mis en cache par séquence 8,192 32,768
Poids chargés, supposés 5 gib 5 gib
Charge utile kV logique, calculée 1 gib 16 gib
Autre mémoire de travail supposée 2 gib 2 gib
réserver, assumé 2 gib 2 gib
Planification combinée Total 10 gib 25 gib

Sous ces hypothèses, le premier profil efface une vérification du budget mémoire de 16 Gio. La seconde dépasse un budget de 24 Gio. Aucun des deux résultats ne prouve le débit ou le temps de réponse.

Les chiffres de réserve et les frais généraux sont des entrées pour cet exemple, et non des recommandations générales. Remplacez-les par des mesures à partir du temps d'exécution et des paramètres exacts avant de sélectionner le matériel.

Qu'en est-il d'un modèle 70B ?

Un modèle nominal 70B a un plancher de poids de quatre bits idéalisé de 35 Go. Il ne peut pas être entièrement résident en GPU à moins de 24 Go de mémoire disponible, même avant le cache et les frais généraux.

Les chemins possibles incluent un GPU à plus grande mémoire, un placement multi-GPU pris en charge, un déchargement de processeur ou un modèle plus petit qui réussit le test de qualité des tâches. Un appareil de 48 Go n'est pas une recommandation générale pour chaque charge de travail de 70 b. Le contexte, les requêtes actives, les frais généraux de format et les comportements d'exécution sont toujours importants.

Choisissez le matériel GPU par plus de VRAM

Une mémoire suffisante rend possible une configuration. Cela ne rend pas la configuration assez rapide.

Comparez les candidats en utilisant la même charge de travail :

Vérification du matériel Quoi confirmer
VRAM disponible Allocation réelle après partitions et autres processus
Assistance d'exécution Prise en charge de l'architecture, du pilote, du backend et du modèle du GPU
Formats de poids et de cache Kernels et comportement de mémoire pris en charge
Bande passante mémoire Performances sous le modèle sélectionné et le mixage des requêtes
Connecter entre eux Topologie de l'appareil pour la méthode parallèle choisie
Puissance et refroidissement Limites d'exploitation soutenues sur le serveur
Conditions de service Ressources, assistance et processus de remplacement dédiés ou partagés

Évitez de sélectionner un GPU à partir d'une table générique Utilisateurs par carte. Dix demandes courtes et dix demandes de documents longs sont des charges de travail différentes.

Conservez la révision du modèle présélectionnée, la version d'exécution, les limites d'invite/sortie et la cible de requête active à côté de chaque option matérielle. Sinon, la comparaison est difficile à reproduire.

Taille du système RAM, CPU, stockage et mise en réseau

RAM système : budget pour le chargement et les services hôtes

La RAM du système prend en charge le système d'exploitation, le chargement des modèles, les API, la tokenisation, la surveillance et tout modèle de résident ou de cache du processeur. Les modèles d'intégration, les rerankers et les bases de données vectorielles ajoutent une demande supplémentaire s'ils partagent l'hôte.

Mesurez la RAM de pointe au démarrage ainsi qu'au fonctionnement régulier. La méthode de chargement peut utiliser des copies temporaires ou des tampons absents après le démarrage.

Il n'y a pas de rapport RAM/VRAM unique qui s'adapte à chaque pile d'inférences. Créez un budget hôte à partir de l'exécution sélectionnée, du plan de déchargement et des services de soutien. Un modèle qui s'adapte au GPU peut toujours échouer lors du chargement car la mémoire de l'hôte est insuffisante.

CPU : associez les cœurs et la bande passante de la mémoire à la tâche

Sur un serveur soutenu par GPU, le processeur gère toujours le traitement des demandes, la tokenisation, la mise en réseau et le travail d'application. L'inférence CPU uniquement rend également l'exécution du processeur et le comportement de la mémoire système au cœur des performances.

Testez le nombre de threads prévu. Plus de cœurs ne produisent pas automatiquement une augmentation correspondante du taux de jetons. Pour les systèmes multi-sockets, inspectez la localité de la mémoire et le placement des GPU et des périphériques réseau.

Un serveur dédié uniquement CPU peut être un candidat pour des travaux par lots, des expériences ou des tâches à basse fréquence. La question de savoir si elle convient à une utilisation interactive dépend du modèle et du temps de réponse mesuré.

NVMe Storage : inclure les versions et la récupération

Stockage budgétaire pour plus d'un modèle téléchargé :

Budget de stockage = Fichiers modèles actifs + fichiers de restauration + artefacts d'exécution + données d'application + journaux conservés + espace de travail libre

Ajoutez des index vectoriels et des données de document lors de la récupération partage le serveur. Envisagez également les téléchargements temporaires et les fichiers de conversion.

NVMe local peut réduire les délais de chargement des modèles et d'accès aux données. Il ne garantit pas un taux de génération plus élevé une fois que tous les poids requis sont résident en mémoire. Mesurez l'heure de démarrage à froid séparément des performances de la demande chaude.

Réseautage : séparez le trafic client du trafic modèle

Un port de réseau public gère les connexions, téléchargements et transferts clients. Les liens GPU vers GPU et le réseau entre les nœuds d'inférence distribués ont des objectifs différents.

N'utilisez pas une spécification de port publique de 10 Gbit/s pour prouver les performances d'inférence multi-nœuds. Vérifiez la topologie, la méthode de communication et les exigences d'exécution réelles.

Pour les applications vocales, mesurez le tour complet : saisie de la parole, transcription, réponse du modèle, génération de la parole et livraison. LLM Time to the First Token ne couvre qu'une partie de ce chemin.

Associez le temps d'exécution et la conception multi-GPU à la charge de travail

Choisissez le temps d'exécution avant de prendre une décision finale matérielle. Il contrôle la prise en charge du modèle, le placement, le lot et la gestion de la mémoire.

durée Chemin d'évaluation utile Vérifier avant de valider
ollama Modèles d'essais et un flux de travail plus simple Prise en charge matérielle, contexte, requêtes parallèles et limites de modèles chargés
lama.cpp Modèles GGUF, inférence CPU et déchargement GPU partiel Construction/backend, support d'artefact, couches déchargées et vitesse mesurée
VLLM Déploiements par lots et multi-GPU pris en charge Compatibilité avec le modèle/format, les contrôles de mémoire, la topologie et la latence sous charge

Ollama documente les besoins de mémoire accrus avec des requêtes parallèles et un contexte plus long. Llama.cpp prend en charge l'inférence hybride CPU/GPU. Il s'agit d'options à tester, et non de garanties d'un taux de jetons spécifique. 

Diviser un modèle ou exécuter des répliques distinctes ?

La division d'un modèle sur les GPU peut aider lorsqu'il ne tient pas sur un seul appareil. Le parallélisme des tenseurs divise les opérations de tenseurs pris en charge ; Le parallélisme du pipeline divise les étapes du modèle ou les couches. Les déploiements de MOE peuvent également utiliser un parallélisme d'experts.

Les répliques ont un objectif différent. Chaque copie détient ses propres poids et peut gérer un ensemble distinct de demandes. Les répliques peuvent ajouter de la capacité de service lorsqu'une copie convient déjà, mais elles ne combinent pas leur mémoire pour contenir un modèle plus grand.

Deux GPU ne deviennent pas un pool de mémoire automatique. L'allocation par appareil, la communication et la prise en charge de l'exécution limitent toujours la mise en page. VLLM documente plusieurs méthodes parallèles et des considérations de topologie.

NVLink n'est pas une exigence universelle. Comparez la mise en page effectivement prise en charge et comparez-la. Ni l'ajout d'un deuxième GPU ni le doublement de la VRAM totale ne garantit deux fois le débit utile.

Analysez le serveur avant la production

Testez la cible de l'application, et non le nombre le plus élevé dans une capture d'écran de référence.

Métrique Ce qu'il vous dit
Temps de premier jeton, ou TTFT Combien de temps le client attend la sortie du modèle initial
Latence inter-tokens Comment la production en douceur arrive après le début de la génération
Taux de sortie par requête Vitesse de génération vécue par une seule demande
Taux de production agrégé Sortie totale sur le serveur
Temps de fin de demande Combien de temps prend la réponse complète
Erreurs et croissance des files d'attente Si la demande dépasse la capacité utilisable

Les définitions et les limites de mesure sont importantes. Les directives de référence de NVIDIA distinguent les taux de jetons de niveau utilisateur, le débit du système et la latence de réponse. Conservez les définitions de l'outil sélectionné avec les résultats. 

Utilisez un test d'acceptation répétable

  1. Fixez la configuration. Enregistrez la révision du modèle, l'artefact, le tokenizer, l'exécution, le pilote, le GPU, le processeur, la mémoire vive, les limites de stockage et de puissance.
  2. Testez une demande. Mesurez le comportement froid et chaud avec des longueurs d'entrée et de sortie représentatives.
  3. Augmenter la concurrence. Vérifiez les demandes normales et longues à plusieurs niveaux de requête active.
  4. Tester les rafales d'arrivée. Envoyez des demandes au taux attendu afin que les files d'attente et le comportement de surcharge deviennent visibles.
  5. Vérifiez la qualité. Répétez les tests de tâches après avoir modifié les paramètres de précision, de contexte ou de service.
  6. Enregistrez les conditions de passe. Inclure la latence, le débit réussi, la mémoire, la qualité et la réserve requise.

Utilisez plusieurs répétitions mesurées après un échauffement constant. Signalez les échecs, le nombre d'échantillons et la diffusion des résultats. Un chiffre P99 basé sur trop peu de demandes peut induire en erreur.

Si la mise en cache du préfixe est activée, testez les préfixes répétés et les nouveaux préfixes. Si les intégrations ou le reclassement partagent la machine, incluez-les dans le test de charge. Un résultat synthétique à courte avance ne peut pas établir une capacité de document à long terme.

Utilisez les outils actuels et enregistrez leurs versions. La documentation actuelle de Genai-Perf de NVIDIA indique qu'elle est progressivement supprimée et dirige de nouveaux travaux de benchmarking vers AiPerf. 

Lorsque la mémoire est la ressource limitante

Identifiez d'abord si le problème est le chargement du modèle, la réservation du cache, la croissance du contexte ou d'autres services. Ensuite, modifiez un facteur et testez à nouveau.

Les options possibles incluent un modèle plus petit, un artefact quantifié pris en charge, des limites de contexte plus courtes, moins de séquences actives ou un autre plan de placement. Ces choix peuvent modifier la qualité, la file d'attente et le débit.

VLLM documente la longueur du contexte et les limites de séquence en tant que contrôles de mémoire, et note que la capture de graphes CUDA utilise une mémoire GPU supplémentaire. Traitez les paramètres dans le cadre de la configuration mesurée. 

Comparez les coûts d'auto-hébergement avec les API et les GPU cloud

Comparez uniquement les configurations qui répondent à la qualité de tâche et au temps de réponse requis. Un serveur bon marché qui produit des réponses inutilisables n'est pas une sauvegarde.

Pour un serveur dédié loué, inclure :

  • Frais de location et d'installation sur la durée prévue.
  • Frais de stockage, de transfert, de logiciels et d'assistance.
  • Travail d'exploitation pour les mises à jour, la surveillance et les incidents.
  • Capacité nécessaire pour la maintenance ou la manipulation des pannes.

N'ajoutez plus de puissance lorsque les frais de location l'incluent déjà. Pour le matériel détenu, utilisez un modèle de propriété distincte couvrant l'achat, l'énergie, les installations et le support.

Coût par demande acceptée = Coût complet pendant une période ÷ Demandes acceptées au cours de cette période

Par exemple, un coût mensuel complet fictif de 1 tP4t1 200 divisé par 600 000 demandes acceptées donne 1 tp4t0 002 par demande acceptée. Il s'agit d'un calcul d'enseignement, et non d'un devis ATAL ou d'une capacité de service mesurée.

Ne présumez pas dix fois que la demande s'adapte au même serveur au même temps de réponse. Le coût change lorsque la capacité, la dotation ou la réserve doivent changer.

Pour les comparaisons d'API, les jetons de saisie de prix, les jetons de sortie, la mise en cache et d'autres catégories facturées séparément. Pour les GPU cloud, incluez les heures de fonctionnement, le stockage attaché, les transferts et les services de prise en charge requis.

Il n'y a pas de volume de jeton universel auquel l'auto-hébergement devient moins cher. L'utilisation, la qualité du modèle, la longueur de la demande, le matériel et la responsabilité d'exploitation déterminent le résultat.

Vérifier les limites de déploiement avant de commander

L'ajustement du matériel est une partie de la préparation. Confirmez la licence exacte du modèle et l'utilisation autorisée. Vérifiez la compatibilité des pilotes, du temps d'exécution et des artefacts.

Contrôlez l'accès au point de terminaison d'inférence. Définissez les limites de taille de requête, de sortie, de file d'attente et de débit. Définir les règles de journalisation et de conservation. Passez en revue les connexions sortantes, les intégrations externes, les outils et les API de secours si les données doivent rester à l'intérieur d'une limite spécifique.

Un serveur dédié loué n'est pas automatiquement sur site ou à intervalles aériens. L'auto-hébergement vous permet de contrôler les choix de déploiement ; Cela ne prouve pas que chaque invite reste privée dans toutes les configurations.

Planifiez les mises à jour du modèle, les fichiers de restauration, la surveillance et la récupération. Si le service doit se poursuivre pendant une défaillance de l'hôte, l'architecture a besoin d'une capacité de réserve en dehors de cet hôte. Plusieurs GPU à l'intérieur d'un serveur ne fournissent pas de deuxième hôte.

Foire aux questions

Puis-je héberger un LLM sans un GPU ?

Oui. Les temps d'exécution pris en charge peuvent exécuter des modèles sur les CPU, et certains peuvent diviser le travail entre le CPU et le GPU. Commencez avec un modèle et un format adaptés à la RAM du système, puis testez le temps de réponse. L'inférence CPU uniquement peut convenir aux tâches par lots ou à basse fréquence, mais la pertinence interactive doit être mesurée.

Est-ce que 24 Go de VRAM est suffisante pour un serveur LLM ?

Cela dépend de l'artefact, du contexte, des requêtes actives et de l'exécution. Plusieurs modèles quantifiés compacts peuvent s'adapter, mais l'ajustement de la mémoire n'établit pas la capacité de production. Les poids à quatre bits idéalisés d'un modèle 70B nominal nécessitent à eux seuls 35 Go, ce qui dépasse 24 Go de VRAM disponible.

De combien de mémoire un modèle 70B a-t-il besoin ?

Les planchers de poids idéalisés sont de 140 Go à 16 bits, 70 Go à huit bits et 35 Go à quatre bits. Ajoutez une surcharge de format, un cache, une mémoire de travail et une réserve. Le placement sur le GPU et la mémoire hôte dépend de l'exécution.

Deux GPU de 24 Go peuvent-ils remplacer un GPU plus grand ?

Parfois, si le modèle et l'exécution prennent en charge une répartition appropriée. Ils ne sont pas automatiquement équivalents à un appareil plus grand. La communication, la surcharge par appareil, le placement du cache et la topologie du serveur affectent à la fois l'ajustement et la vitesse.

Pourquoi le modèle se charge-t-il mais échoue-t-il avec plusieurs requêtes ?

Le chargement vérifie si l'allocation initiale du modèle s'adapte. Des demandes supplémentaires peuvent augmenter le cache et la demande de mémoire de travail. Mesurez le point de défaillance exact et vérifiez le contexte, les limites de séquence active et les autres services chargés avant de changer de matériel.

De combien de RAM système un serveur d'inférence a-t-il besoin ?

Budget pour les pics de démarrage, le système d'exploitation, le temps d'exécution, les services d'API, le déchargement du processeur et tous les composants de récupération. Mesurez à la fois le chargement et le fonctionnement régulier. Il n'y a pas d'exigence fixe de RAM système qui découle du nombre de paramètres ou de la mémoire GPU.

Un serveur dédié est-il moins cher qu'une API ?

Cela peut être le cas, mais comparez les coûts complets à une qualité de tâche et à un temps de réponse équivalents. Une demande faible ou irrégulière peut laisser le matériel loué inactif. Une demande soutenue peut améliorer l'utilisation, à condition que le serveur sélectionné puisse la gérer dans la cible de service.

Étapes suivantes recommandées

Choisissez le matériel à partir d'un profil de requête documenté, et non le nombre de paramètres seul. Calculez les poids et le cache séparément, ajoutez le budget complet du serveur et testez les configurations qui restent.

Avant de valider :

  1. Corrigez la révision du modèle, l'artefact, le contexte et la cible de requête active.
  2. Calculez le budget de la mémoire en utilisant des unités cohérentes.
  3. Confirmez la prise en charge de l'exécution et le placement par appareil.
  4. Testez la latence, le débit, la qualité et le comportement de défaillance.
  5. Comparez les coûts complets sur la même période.

Pour discuter d'une configuration appropriée, passez en revue Serveurs dédiés Atal Networks et partagez votre modèle, votre profil de demande, votre estimation de la mémoire, votre emplacement et vos besoins en logiciels. Confirmez la disponibilité du GPU et les options prises en charge pour l'offre spécifique avant de commander.

Sources et notes de calcul

Les sources ont été vérifiées le 28 octobre 2026. Les configurations de modèles, la prise en charge de l'exécution et le comportement des logiciels peuvent changer, donc enregistrez la version utilisée pour un déploiement.

Les tableaux de poids utilisent des nombres de bits idéalisés et des Go décimaux. Les chiffres de KV-Cache utilisent le GIB binaire et les hypothèses d'attention complètes indiquées. L'allocation de poids de 5 GIB, l'entrée de la mémoire de travail de 2 GIB, la réserve de 2 GIB et l'exemple du dollar sont des intrants d'enseignement fictifs. Il ne s'agit pas de mesures atales, de prix ou de sinistres de capacité.

Défiler vers le haut
Seraphinite AcceleratorBannerText_Seraphinite Accelerator
Turns on site high speed to be attractive for people and search engines.