{"id":25139,"date":"2026-10-28T06:25:00","date_gmt":"2026-10-28T06:25:00","guid":{"rendered":"https:\/\/atalnetworks.com\/?p=25139"},"modified":"2026-10-28T06:28:33","modified_gmt":"2026-10-28T06:28:33","slug":"llm-inference-server-sizing","status":"publish","type":"post","link":"https:\/\/atalnetworks.com\/fr\/blog\/llm-inference-server-sizing\/","title":{"rendered":"LLMS d'auto-h\u00e9bergement sur un serveur d\u00e9di\u00e9 : guide de dimensionnement du mat\u00e9riel"},"content":{"rendered":"<p><b>Pour auto-h\u00e9berger un LLM sur un serveur d\u00e9di\u00e9, dimensionnez le mat\u00e9riel pour le mod\u00e8le, la longueur du contexte, les requ\u00eates actives et la cible du temps de r\u00e9ponse.<\/b><span style=\"font-weight: 400;\"> Budget pour les pond\u00e9rations des mod\u00e8les, la m\u00e9moire de demande, les frais g\u00e9n\u00e9raux d'ex\u00e9cution, la RAM syst\u00e8me, le travail CPU et le stockage. Un mod\u00e8le qui se charge avec succ\u00e8s a pass\u00e9 un contr\u00f4le de m\u00e9moire, et non un test de capacit\u00e9 de production.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">L'\u00e9cart devient clair pendant une heure charg\u00e9e. Une courte demande fonctionne. Plusieurs utilisateurs soumettent de longs documents, la file d'attente de demandes augmente et le m\u00eame serveur manque de m\u00e9moire ou prend trop de temps pour r\u00e9pondre.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">\u00c9vitez ce probl\u00e8me en planifiant dans cet ordre\u00a0:<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">D\u00e9finissez le mod\u00e8le exact et le profil de demande.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Calculez la m\u00e9moire de poids et la m\u00e9moire cache s\u00e9par\u00e9ment.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Budget pour le serveur complet et les services de soutien.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Testez le trafic r\u00e9aliste par rapport aux objectifs de temps de r\u00e9ponse et de qualit\u00e9.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Comparez les co\u00fbts complets pour les configurations qui passent.<\/span><\/li>\n<\/ol>\n<h2><span style=\"font-weight: 400;\">Commencez par le mod\u00e8le et le profil de demande<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Le dimensionnement du serveur commence par ce que l'application doit faire. \"G\u00e9rer un LLM pour notre \u00e9quipe\" est trop large pour produire une recommandation mat\u00e9rielle utile.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Enregistrez ces entr\u00e9es avant de comparer les serveurs\u00a0:<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Contribution<\/b><\/th>\n<th><b>Quoi enregistrer<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Mod\u00e8le<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Nom, r\u00e9vision, architecture et licence exacts<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Format de poids<\/span><\/td>\n<td><span style=\"font-weight: 400;\">FP16, BF16 ou l'artefact quantifi\u00e9 sp\u00e9cifique<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Le contexte<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Nombre de jetons normaux et maximal et maximal<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Trafic<\/span><\/td>\n<td><span style=\"font-weight: 400;\">G\u00e9n\u00e9rations actives, taux d'arriv\u00e9e et comportement d'\u00e9clatement<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Performance<\/span><\/td>\n<td><span style=\"font-weight: 400;\">D\u00e9lai de premier jeton et temps d'ex\u00e9cution acceptable<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Qualit\u00e9<\/span><\/td>\n<td><span style=\"font-weight: 400;\">T\u00e2ches que le mod\u00e8le doit ex\u00e9cuter correctement<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Autres services<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Int\u00e9gration, reclassement, recherche de vecteurs, API et surveillance<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">op\u00e9rations<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Mettre \u00e0 jour le processus, les besoins de r\u00e9cup\u00e9ration et la r\u00e9serve de croissance<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Le contexte comprend les instructions syst\u00e8me, l'historique des discussions, le texte r\u00e9cup\u00e9r\u00e9, l'entr\u00e9e utilisateur et la sortie g\u00e9n\u00e9r\u00e9e. Une courte question peut produire une entr\u00e9e de mod\u00e8le longue si l'application ajoute plusieurs documents.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">S\u00e9parez \u00e9galement les utilisateurs des demandes actives. Un service avec 100 utilisateurs enregistr\u00e9s peut avoir seulement quelques g\u00e9n\u00e9rations en cours d'ex\u00e9cution. Un agent utilis\u00e9 par une seule personne peut \u00e9mettre plusieurs demandes au cours d'une m\u00eame t\u00e2che.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Pour une d\u00e9finition du processus de service, voir <\/span><a href=\"https:\/\/atalnetworks.com\/fr\/what-is-ai-inference\/\"><span style=\"font-weight: 400;\">Ce que signifie l'inf\u00e9rence d'IA<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Gardez l'inf\u00e9rence s\u00e9par\u00e9e de la formation<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Ce guide couvre l'inf\u00e9rence\u00a0: l'utilisation d'un mod\u00e8le d\u00e9j\u00e0 form\u00e9 pour produire une r\u00e9ponse. L'entra\u00eenement et le r\u00e9glage fin peuvent n\u00e9cessiter une m\u00e9moire suppl\u00e9mentaire pour les gradients, l'\u00e9tat de l'optimiseur et les activations, selon la m\u00e9thode.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">N'utilisez pas de table de dimensionnement d'inf\u00e9rence comme recommandation de formation. Si la m\u00eame machine doit servir les utilisateurs et ex\u00e9cuter des travaux de r\u00e9glage pr\u00e9cis, testez le calendrier combin\u00e9 ou s\u00e9parez ces charges de travail.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Calculer d'abord la m\u00e9moire mod\u00e8le-poids<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Les poids du mod\u00e8le sont les valeurs num\u00e9riques stock\u00e9es utilis\u00e9es lors de l'inf\u00e9rence. Leur empreinte m\u00e9moire fournit le point de d\u00e9part d'un budget mat\u00e9riel.<\/span><\/p>\n<p><b>M\u00e9moire de poids id\u00e9alis\u00e9e en octets = nombre de param\u00e8tres \u00d7 bits par poids \u00f7 8<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Pour un mod\u00e8le nominal de huit milliards de param\u00e8tres \u00e0 16\u00a0bits\u00a0:<\/span><\/p>\n<p><b>8\u00a0000\u00a0000\u00a0000\u00a0\u00d7\u00a016\u00a0\u00f7\u00a08\u00a0=\u00a016\u00a0000\u00a0000\u00a0000\u00a0octets ou 16\u00a0Go<\/b><\/p>\n<p><span style=\"font-weight: 400;\">\u00c0 quatre bits id\u00e9alis\u00e9s par poids, le m\u00eame calcul donne 4 Go.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Taille nominale du mod\u00e8le<\/b><\/th>\n<th><b>Plancher de poids FP16\/BF16<\/b><\/th>\n<th><b>Plancher de poids 8 bits<\/b><\/th>\n<th><b>Plancher de poids 4 bits<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">8B<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16\u00a0Go<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8 Go<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4 Go<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">14B<\/span><\/td>\n<td><span style=\"font-weight: 400;\">28\u00a0Go<\/span><\/td>\n<td><span style=\"font-weight: 400;\">14 Go<\/span><\/td>\n<td><span style=\"font-weight: 400;\">7 Go<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32b<\/span><\/td>\n<td><span style=\"font-weight: 400;\">64\u00a0Go<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32\u00a0Go<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16\u00a0Go<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">70b<\/span><\/td>\n<td><span style=\"font-weight: 400;\">140\u00a0Go<\/span><\/td>\n<td><span style=\"font-weight: 400;\">70\u00a0Go<\/span><\/td>\n<td><span style=\"font-weight: 400;\">35\u00a0Go<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><b>Ces chiffres ne couvrent que les poids id\u00e9alis\u00e9s.<\/b><span style=\"font-weight: 400;\"> Ils excluent le cache de requ\u00eates, les tampons de travail, les m\u00e9tadonn\u00e9es de quantification et d'autres allocations d'ex\u00e9cution. Le mod\u00e8le exact peut \u00e9galement avoir plus de param\u00e8tres que son nom arrondi ne le sugg\u00e8re.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Pourquoi un fichier 4 bits a besoin de plus que le calcul brut<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Un artefact quantifi\u00e9 peut contenir des valeurs d'\u00e9chelle, des m\u00e9tadonn\u00e9es et des tenseurs stock\u00e9s \u00e0 d'autres pr\u00e9cisions. Sa taille t\u00e9l\u00e9charg\u00e9e et son encombrement m\u00e9moire charg\u00e9 peuvent diff\u00e9rer.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Enregistrez l'artefact exact, puis inspectez la m\u00e9moire apr\u00e8s l'avoir charg\u00e9e dans le temps d'ex\u00e9cution pr\u00e9vu. Ne traitez pas tous les formats intitul\u00e9s \u00ab 4 bits \u00bb comme interchangeables.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">La r\u00e9duction de la pr\u00e9cision du poids ne r\u00e9duit pas non plus automatiquement la pr\u00e9cision du cache de la demande. Ce sont des param\u00e8tres distincts avec une compatibilit\u00e9 et des contr\u00f4les de qualit\u00e9 distincts.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Utiliser les param\u00e8tres totaux pour la planification du poids MOE<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Un mod\u00e8le de m\u00e9lange d'experts, ou mod\u00e8le MOE, active uniquement une partie de son r\u00e9seau d'experts pour chaque jeton. Cela peut r\u00e9duire le calcul par rapport \u00e0 l'utilisation de chaque expert, mais les autres poids n\u00e9cessitent toujours un plan de placement.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Pour une r\u00e9sidence compl\u00e8te, le budget du mod\u00e8le stock\u00e9, pas seulement le nombre de param\u00e8tres actif. Le d\u00e9chargement d'experts et le placement distribu\u00e9 peuvent changer l\u00e0 o\u00f9 la m\u00e9moire est utilis\u00e9e, mais ils introduisent leurs propres co\u00fbts de transfert et d'ex\u00e9cution.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Gardez GB et GIB coh\u00e9rents<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Un Go est un milliard d'octets. Un GIB est de 1\u00a0073\u00a0741\u00a0824\u00a0octets. Une charge utile de 4 Go est d'environ 3,73\u00a0Gio.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Convertissez des valeurs dans la m\u00eame unit\u00e9 avant de soustraire la m\u00e9moire du mod\u00e8le d'un budget d'appareil. Utilisez la m\u00e9moire disponible r\u00e9elle indiqu\u00e9e pour le d\u00e9ploiement plut\u00f4t que de m\u00e9langer une \u00e9tiquette de produit avec une mesure signal\u00e9e diff\u00e9remment.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Ajouter le cache KV, la longueur du contexte et les requ\u00eates simultan\u00e9es<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Le cache cl\u00e9-valeur, g\u00e9n\u00e9ralement appel\u00e9 le <\/span><b>cache KV<\/b><span style=\"font-weight: 400;\">, stocke les donn\u00e9es d'attention utilis\u00e9es pendant que le mod\u00e8le g\u00e9n\u00e8re du texte. Les poids des mod\u00e8les peuvent \u00eatre partag\u00e9s entre les demandes dans une instance de mod\u00e8le, mais les s\u00e9quences actives n\u00e9cessitent \u00e9galement un \u00e9tat de requ\u00eate.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">C'est pourquoi des contextes plus longs et des demandes plus actives peuvent consommer de la m\u00e9moire m\u00eame lorsque le mod\u00e8le charg\u00e9 ne change pas.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Pour un d\u00e9codeur conventionnel avec la m\u00eame disposition d'attention compl\u00e8te dans chaque couche, estimez la charge utile logique du cache comme\u00a0:<\/span><\/p>\n<p><b>kV octets \u2248 2 \u00d7 couches \u00d7 t\u00eates \u00d7 t\u00eate \u00d7 t\u00eate \u00d7 octets par valeur mise en cache \u00d7 jetons total mis en cache<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Le facteur de deux tient compte des cl\u00e9s et des valeurs. Total des jetons mis en cache signifie la somme dans les s\u00e9quences actives. Si toutes les s\u00e9quences ont la m\u00eame longueur, multipliez cette longueur par le nombre de s\u00e9quences actives.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Ce n'est pas une formule universelle pour chaque mod\u00e8le. L'attention des fen\u00eatres glissantes, d'autres architectures de cache, la quantification du cache et les r\u00e8gles d'allocation d'ex\u00e9cution peuvent modifier le calcul. Hugging Face Documents en cache des strat\u00e9gies avec un comportement de m\u00e9moire diff\u00e9rent, y compris les limites des couches de fen\u00eatres glissantes et d'attention.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Un exemple de cache travaill\u00e9<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Meta&#8217;s Llama 3.1 8B configuration uses 32 layers, 32 attention heads, eight KV heads, and a hidden dimension of 4,096. The head dimension is 4,096 \u00f7 32 = 128.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Supposons un cache kV de deux octets, une attention compl\u00e8te et aucun partage de pr\u00e9fixe\u00a0:<\/span><\/p>\n<p><b>2 \u00d7 32 \u00d7 8 \u00d7 128 \u00d7 2 = 131 072 octets par jeton mis en cache par s\u00e9quence<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Cela \u00e9quivaut \u00e0 128 Ko.\u00a0<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Jetons mis en cache par s\u00e9quence<\/b><\/th>\n<th><b>S\u00e9quences actives<\/b><\/th>\n<th><b>Charge utile logique calcul\u00e9e en kV<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1 gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4 gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32 gib<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Le mod\u00e8le est inchang\u00e9, mais la m\u00e9moire de demande change fortement. C'est pourquoi l'ajout d'un pourcentage fixe \u00e0 la taille du mod\u00e8le ne peut pas tenir compte de chaque contexte et objectif de concurrence.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Il s'agit de charges utiles calcul\u00e9es, et non d'allocations GPU mesur\u00e9es. Un temps d'ex\u00e9cution peut r\u00e9server des blocs de cache \u00e0 l'avance ou conserver des allocations pour les r\u00e9utiliser. La m\u00e9moire signal\u00e9e par un outil de surveillance peut donc diff\u00e9rer de la charge utile du jeton Live.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Cr\u00e9er un budget de m\u00e9moire GPU complet<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Pour un d\u00e9ploiement enti\u00e8rement r\u00e9sidant en GPU, commencez par :<\/span><\/p>\n<p><b>Budget m\u00e9moire GPU = poids charg\u00e9s + allocation kV + m\u00e9moire de travail d'ex\u00e9cution + r\u00e9serve de fonctionnement<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Utilisez les valeurs d'ex\u00e9cution mesur\u00e9es lorsque cela est possible. \u00c9vitez de compter deux fois le m\u00eame pool de cache r\u00e9serv\u00e9.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Exemple : un assistant de contexte court par rapport \u00e0 un service partag\u00e9<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Ce qui suit est un <\/span><b>sc\u00e9nario p\u00e9dagogique<\/b><span style=\"font-weight: 400;\">, pas une r\u00e9f\u00e9rence Atal. Supposons :<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Poids quantifi\u00e9s charg\u00e9s : 5 Gio.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Autre m\u00e9moire de travail d'ex\u00e9cution : 2 Gio.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">R\u00e9serve d'exploitation : 2 GIB.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Mise en page du cache de l'exemple Llama 3.1 8b ci-dessus.<\/span><\/li>\n<\/ul>\n<table>\n<thead>\n<tr>\n<th><b>\u00c9l\u00e9ment de m\u00e9moire<\/b><\/th>\n<th><b>Assistant \u00e0 court contexte<\/b><\/th>\n<th><b>Service partag\u00e9 de contexte plus long<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">S\u00e9quences actives<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Jetons mis en cache par s\u00e9quence<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Poids charg\u00e9s, suppos\u00e9s<\/span><\/td>\n<td><span style=\"font-weight: 400;\">5 gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">5 gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Charge utile kV logique, calcul\u00e9e<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1 gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Autre m\u00e9moire de travail suppos\u00e9e<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">r\u00e9server, assum\u00e9<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Planification combin\u00e9e Total<\/span><\/td>\n<td><span style=\"font-weight: 400;\">10 gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">25 gib<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Sous ces hypoth\u00e8ses, le premier profil efface une v\u00e9rification du budget m\u00e9moire de 16\u00a0Gio. La seconde d\u00e9passe un budget de 24 Gio. Aucun des deux r\u00e9sultats ne prouve le d\u00e9bit ou le temps de r\u00e9ponse.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Les chiffres de r\u00e9serve et les frais g\u00e9n\u00e9raux sont des entr\u00e9es pour cet exemple, et non des recommandations g\u00e9n\u00e9rales. Remplacez-les par des mesures \u00e0 partir du temps d'ex\u00e9cution et des param\u00e8tres exacts avant de s\u00e9lectionner le mat\u00e9riel.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Qu'en est-il d'un mod\u00e8le 70B\u00a0?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Un mod\u00e8le nominal 70B a un plancher de poids de quatre bits id\u00e9alis\u00e9 de 35 Go. Il ne peut pas \u00eatre enti\u00e8rement r\u00e9sident en GPU \u00e0 moins de 24\u00a0Go de m\u00e9moire disponible, m\u00eame avant le cache et les frais g\u00e9n\u00e9raux.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Les chemins possibles incluent un GPU \u00e0 plus grande m\u00e9moire, un placement multi-GPU pris en charge, un d\u00e9chargement de processeur ou un mod\u00e8le plus petit qui r\u00e9ussit le test de qualit\u00e9 des t\u00e2ches. Un appareil de 48\u00a0Go n'est pas une recommandation g\u00e9n\u00e9rale pour chaque charge de travail de 70\u00a0b. Le contexte, les requ\u00eates actives, les frais g\u00e9n\u00e9raux de format et les comportements d'ex\u00e9cution sont toujours importants.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Choisissez le mat\u00e9riel GPU par plus de VRAM<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Une m\u00e9moire suffisante rend possible une configuration. Cela ne rend pas la configuration assez rapide.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Comparez les candidats en utilisant la m\u00eame charge de travail\u00a0:<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>V\u00e9rification du mat\u00e9riel<\/b><\/th>\n<th><b>Quoi confirmer<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">VRAM disponible<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Allocation r\u00e9elle apr\u00e8s partitions et autres processus<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Assistance d'ex\u00e9cution<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Prise en charge de l'architecture, du pilote, du backend et du mod\u00e8le du GPU<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Formats de poids et de cache<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Kernels et comportement de m\u00e9moire pris en charge<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Bande passante m\u00e9moire<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Performances sous le mod\u00e8le s\u00e9lectionn\u00e9 et le mixage des requ\u00eates<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Connecter entre eux<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Topologie de l'appareil pour la m\u00e9thode parall\u00e8le choisie<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Puissance et refroidissement<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Limites d'exploitation soutenues sur le serveur<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Conditions de service<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Ressources, assistance et processus de remplacement d\u00e9di\u00e9s ou partag\u00e9s<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">\u00c9vitez de s\u00e9lectionner un GPU \u00e0 partir d'une table g\u00e9n\u00e9rique Utilisateurs par carte. Dix demandes courtes et dix demandes de documents longs sont des charges de travail diff\u00e9rentes.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Conservez la r\u00e9vision du mod\u00e8le pr\u00e9s\u00e9lectionn\u00e9e, la version d'ex\u00e9cution, les limites d'invite\/sortie et la cible de requ\u00eate active \u00e0 c\u00f4t\u00e9 de chaque option mat\u00e9rielle. Sinon, la comparaison est difficile \u00e0 reproduire.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Taille du syst\u00e8me RAM, CPU, stockage et mise en r\u00e9seau<\/span><\/h2>\n<h3><span style=\"font-weight: 400;\">RAM syst\u00e8me : budget pour le chargement et les services h\u00f4tes<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">La RAM du syst\u00e8me prend en charge le syst\u00e8me d'exploitation, le chargement des mod\u00e8les, les API, la tokenisation, la surveillance et tout mod\u00e8le de r\u00e9sident ou de cache du processeur. Les mod\u00e8les d'int\u00e9gration, les rerankers et les bases de donn\u00e9es vectorielles ajoutent une demande suppl\u00e9mentaire s'ils partagent l'h\u00f4te.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Mesurez la RAM de pointe au d\u00e9marrage ainsi qu'au fonctionnement r\u00e9gulier. La m\u00e9thode de chargement peut utiliser des copies temporaires ou des tampons absents apr\u00e8s le d\u00e9marrage.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Il n'y a pas de rapport RAM\/VRAM unique qui s'adapte \u00e0 chaque pile d'inf\u00e9rences. Cr\u00e9ez un budget h\u00f4te \u00e0 partir de l'ex\u00e9cution s\u00e9lectionn\u00e9e, du plan de d\u00e9chargement et des services de soutien. Un mod\u00e8le qui s'adapte au GPU peut toujours \u00e9chouer lors du chargement car la m\u00e9moire de l'h\u00f4te est insuffisante.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">CPU : associez les c\u0153urs et la bande passante de la m\u00e9moire \u00e0 la t\u00e2che<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Sur un serveur soutenu par GPU, le processeur g\u00e8re toujours le traitement des demandes, la tokenisation, la mise en r\u00e9seau et le travail d'application. L'inf\u00e9rence CPU uniquement rend \u00e9galement l'ex\u00e9cution du processeur et le comportement de la m\u00e9moire syst\u00e8me au c\u0153ur des performances.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Testez le nombre de threads pr\u00e9vu. Plus de c\u0153urs ne produisent pas automatiquement une augmentation correspondante du taux de jetons. Pour les syst\u00e8mes multi-sockets, inspectez la localit\u00e9 de la m\u00e9moire et le placement des GPU et des p\u00e9riph\u00e9riques r\u00e9seau.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Un serveur d\u00e9di\u00e9 uniquement CPU peut \u00eatre un candidat pour des travaux par lots, des exp\u00e9riences ou des t\u00e2ches \u00e0 basse fr\u00e9quence. La question de savoir si elle convient \u00e0 une utilisation interactive d\u00e9pend du mod\u00e8le et du temps de r\u00e9ponse mesur\u00e9.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">NVMe Storage : inclure les versions et la r\u00e9cup\u00e9ration<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Stockage budg\u00e9taire pour plus d'un mod\u00e8le t\u00e9l\u00e9charg\u00e9\u00a0:<\/span><\/p>\n<p><b>Budget de stockage = Fichiers mod\u00e8les actifs + fichiers de restauration + artefacts d'ex\u00e9cution + donn\u00e9es d'application + journaux conserv\u00e9s + espace de travail libre<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Ajoutez des index vectoriels et des donn\u00e9es de document lors de la r\u00e9cup\u00e9ration partage le serveur. Envisagez \u00e9galement les t\u00e9l\u00e9chargements temporaires et les fichiers de conversion.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">NVMe local peut r\u00e9duire les d\u00e9lais de chargement des mod\u00e8les et d'acc\u00e8s aux donn\u00e9es. Il ne garantit pas un taux de g\u00e9n\u00e9ration plus \u00e9lev\u00e9 une fois que tous les poids requis sont r\u00e9sident en m\u00e9moire. Mesurez l'heure de d\u00e9marrage \u00e0 froid s\u00e9par\u00e9ment des performances de la demande chaude.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">R\u00e9seautage\u00a0: s\u00e9parez le trafic client du trafic mod\u00e8le<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Un port de r\u00e9seau public g\u00e8re les connexions, t\u00e9l\u00e9chargements et transferts clients. Les liens GPU vers GPU et le r\u00e9seau entre les n\u0153uds d'inf\u00e9rence distribu\u00e9s ont des objectifs diff\u00e9rents.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">N'utilisez pas une sp\u00e9cification de port publique de 10\u00a0Gbit\/s pour prouver les performances d'inf\u00e9rence multi-n\u0153uds. V\u00e9rifiez la topologie, la m\u00e9thode de communication et les exigences d'ex\u00e9cution r\u00e9elles.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Pour les applications vocales, mesurez le tour complet\u00a0: saisie de la parole, transcription, r\u00e9ponse du mod\u00e8le, g\u00e9n\u00e9ration de la parole et livraison. LLM Time to the First Token ne couvre qu'une partie de ce chemin.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Associez le temps d'ex\u00e9cution et la conception multi-GPU \u00e0 la charge de travail<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Choisissez le temps d'ex\u00e9cution avant de prendre une d\u00e9cision finale mat\u00e9rielle. Il contr\u00f4le la prise en charge du mod\u00e8le, le placement, le lot et la gestion de la m\u00e9moire.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>dur\u00e9e<\/b><\/th>\n<th><b>Chemin d'\u00e9valuation utile<\/b><\/th>\n<th><b>V\u00e9rifier avant de valider<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">ollama<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Mod\u00e8les d'essais et un flux de travail plus simple<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Prise en charge mat\u00e9rielle, contexte, requ\u00eates parall\u00e8les et limites de mod\u00e8les charg\u00e9s<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">lama.cpp<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Mod\u00e8les GGUF, inf\u00e9rence CPU et d\u00e9chargement GPU partiel<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Construction\/backend, support d'artefact, couches d\u00e9charg\u00e9es et vitesse mesur\u00e9e<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">VLLM<\/span><\/td>\n<td><span style=\"font-weight: 400;\">D\u00e9ploiements par lots et multi-GPU pris en charge<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Compatibilit\u00e9 avec le mod\u00e8le\/format, les contr\u00f4les de m\u00e9moire, la topologie et la latence sous charge<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Ollama documente les besoins de m\u00e9moire accrus avec des requ\u00eates parall\u00e8les et un contexte plus long. Llama.cpp prend en charge l'inf\u00e9rence hybride CPU\/GPU. Il s'agit d'options \u00e0 tester, et non de garanties d'un taux de jetons sp\u00e9cifique.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Diviser un mod\u00e8le ou ex\u00e9cuter des r\u00e9pliques distinctes\u00a0?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">La division d'un mod\u00e8le sur les GPU peut aider lorsqu'il ne tient pas sur un seul appareil. Le parall\u00e9lisme des tenseurs divise les op\u00e9rations de tenseurs pris en charge\u00a0; Le parall\u00e9lisme du pipeline divise les \u00e9tapes du mod\u00e8le ou les couches. Les d\u00e9ploiements de MOE peuvent \u00e9galement utiliser un parall\u00e9lisme d'experts.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Les r\u00e9pliques ont un objectif diff\u00e9rent. Chaque copie d\u00e9tient ses propres poids et peut g\u00e9rer un ensemble distinct de demandes. Les r\u00e9pliques peuvent ajouter de la capacit\u00e9 de service lorsqu'une copie convient d\u00e9j\u00e0, mais elles ne combinent pas leur m\u00e9moire pour contenir un mod\u00e8le plus grand.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Deux GPU ne deviennent pas un pool de m\u00e9moire automatique. L'allocation par appareil, la communication et la prise en charge de l'ex\u00e9cution limitent toujours la mise en page. VLLM documente plusieurs m\u00e9thodes parall\u00e8les et des consid\u00e9rations de topologie.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">NVLink n'est pas une exigence universelle. Comparez la mise en page effectivement prise en charge et comparez-la. Ni l'ajout d'un deuxi\u00e8me GPU ni le doublement de la VRAM totale ne garantit deux fois le d\u00e9bit utile.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Analysez le serveur avant la production<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Testez la cible de l'application, et non le nombre le plus \u00e9lev\u00e9 dans une capture d'\u00e9cran de r\u00e9f\u00e9rence.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>M\u00e9trique<\/b><\/th>\n<th><b>Ce qu'il vous dit<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Temps de premier jeton, ou TTFT<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Combien de temps le client attend la sortie du mod\u00e8le initial<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Latence inter-tokens<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Comment la production en douceur arrive apr\u00e8s le d\u00e9but de la g\u00e9n\u00e9ration<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Taux de sortie par requ\u00eate<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Vitesse de g\u00e9n\u00e9ration v\u00e9cue par une seule demande<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Taux de production agr\u00e9g\u00e9<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Sortie totale sur le serveur<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Temps de fin de demande<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Combien de temps prend la r\u00e9ponse compl\u00e8te<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Erreurs et croissance des files d'attente<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Si la demande d\u00e9passe la capacit\u00e9 utilisable<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Les d\u00e9finitions et les limites de mesure sont importantes. Les directives de r\u00e9f\u00e9rence de NVIDIA distinguent les taux de jetons de niveau utilisateur, le d\u00e9bit du syst\u00e8me et la latence de r\u00e9ponse. Conservez les d\u00e9finitions de l'outil s\u00e9lectionn\u00e9 avec les r\u00e9sultats.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Utilisez un test d'acceptation r\u00e9p\u00e9table<\/span><\/h3>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Fixez la configuration.<\/b><span style=\"font-weight: 400;\"> Enregistrez la r\u00e9vision du mod\u00e8le, l'artefact, le tokenizer, l'ex\u00e9cution, le pilote, le GPU, le processeur, la m\u00e9moire vive, les limites de stockage et de puissance.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Testez une demande.<\/b><span style=\"font-weight: 400;\"> Mesurez le comportement froid et chaud avec des longueurs d'entr\u00e9e et de sortie repr\u00e9sentatives.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Augmenter la concurrence.<\/b><span style=\"font-weight: 400;\"> V\u00e9rifiez les demandes normales et longues \u00e0 plusieurs niveaux de requ\u00eate active.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Tester les rafales d'arriv\u00e9e.<\/b><span style=\"font-weight: 400;\"> Envoyez des demandes au taux attendu afin que les files d'attente et le comportement de surcharge deviennent visibles.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>V\u00e9rifiez la qualit\u00e9.<\/b><span style=\"font-weight: 400;\"> R\u00e9p\u00e9tez les tests de t\u00e2ches apr\u00e8s avoir modifi\u00e9 les param\u00e8tres de pr\u00e9cision, de contexte ou de service.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Enregistrez les conditions de passe.<\/b><span style=\"font-weight: 400;\"> Inclure la latence, le d\u00e9bit r\u00e9ussi, la m\u00e9moire, la qualit\u00e9 et la r\u00e9serve requise.<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">Utilisez plusieurs r\u00e9p\u00e9titions mesur\u00e9es apr\u00e8s un \u00e9chauffement constant. Signalez les \u00e9checs, le nombre d'\u00e9chantillons et la diffusion des r\u00e9sultats. Un chiffre P99 bas\u00e9 sur trop peu de demandes peut induire en erreur.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Si la mise en cache du pr\u00e9fixe est activ\u00e9e, testez les pr\u00e9fixes r\u00e9p\u00e9t\u00e9s et les nouveaux pr\u00e9fixes. Si les int\u00e9grations ou le reclassement partagent la machine, incluez-les dans le test de charge. Un r\u00e9sultat synth\u00e9tique \u00e0 courte avance ne peut pas \u00e9tablir une capacit\u00e9 de document \u00e0 long terme.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Utilisez les outils actuels et enregistrez leurs versions. La documentation actuelle de Genai-Perf de NVIDIA indique qu'elle est progressivement supprim\u00e9e et dirige de nouveaux travaux de benchmarking vers AiPerf.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Lorsque la m\u00e9moire est la ressource limitante<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Identifiez d'abord si le probl\u00e8me est le chargement du mod\u00e8le, la r\u00e9servation du cache, la croissance du contexte ou d'autres services. Ensuite, modifiez un facteur et testez \u00e0 nouveau.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Les options possibles incluent un mod\u00e8le plus petit, un artefact quantifi\u00e9 pris en charge, des limites de contexte plus courtes, moins de s\u00e9quences actives ou un autre plan de placement. Ces choix peuvent modifier la qualit\u00e9, la file d'attente et le d\u00e9bit.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">VLLM documente la longueur du contexte et les limites de s\u00e9quence en tant que contr\u00f4les de m\u00e9moire, et note que la capture de graphes CUDA utilise une m\u00e9moire GPU suppl\u00e9mentaire. Traitez les param\u00e8tres dans le cadre de la configuration mesur\u00e9e.\u00a0<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Comparez les co\u00fbts d'auto-h\u00e9bergement avec les API et les GPU cloud<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Comparez uniquement les configurations qui r\u00e9pondent \u00e0 la qualit\u00e9 de t\u00e2che et au temps de r\u00e9ponse requis. Un serveur bon march\u00e9 qui produit des r\u00e9ponses inutilisables n'est pas une sauvegarde.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Pour un serveur d\u00e9di\u00e9 lou\u00e9, inclure :<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Frais de location et d'installation sur la dur\u00e9e pr\u00e9vue.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Frais de stockage, de transfert, de logiciels et d'assistance.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Travail d'exploitation pour les mises \u00e0 jour, la surveillance et les incidents.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Capacit\u00e9 n\u00e9cessaire pour la maintenance ou la manipulation des pannes.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-weight: 400;\">N'ajoutez plus de puissance lorsque les frais de location l'incluent d\u00e9j\u00e0. Pour le mat\u00e9riel d\u00e9tenu, utilisez un mod\u00e8le de propri\u00e9t\u00e9 distincte couvrant l'achat, l'\u00e9nergie, les installations et le support.<\/span><\/p>\n<p><b>Co\u00fbt par demande accept\u00e9e = Co\u00fbt complet pendant une p\u00e9riode \u00f7 Demandes accept\u00e9es au cours de cette p\u00e9riode<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Par exemple, un co\u00fbt mensuel complet fictif de 1\u00a0tP4t1\u00a0200 divis\u00e9 par 600\u00a0000\u00a0demandes accept\u00e9es donne 1\u00a0tp4t0\u00a0002 par demande accept\u00e9e. Il s'agit d'un calcul d'enseignement, et non d'un devis ATAL ou d'une capacit\u00e9 de service mesur\u00e9e.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Ne pr\u00e9sumez pas dix fois que la demande s'adapte au m\u00eame serveur au m\u00eame temps de r\u00e9ponse. Le co\u00fbt change lorsque la capacit\u00e9, la dotation ou la r\u00e9serve doivent changer.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Pour les comparaisons d'API, les jetons de saisie de prix, les jetons de sortie, la mise en cache et d'autres cat\u00e9gories factur\u00e9es s\u00e9par\u00e9ment. Pour les GPU cloud, incluez les heures de fonctionnement, le stockage attach\u00e9, les transferts et les services de prise en charge requis.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Il n'y a pas de volume de jeton universel auquel l'auto-h\u00e9bergement devient moins cher. L'utilisation, la qualit\u00e9 du mod\u00e8le, la longueur de la demande, le mat\u00e9riel et la responsabilit\u00e9 d'exploitation d\u00e9terminent le r\u00e9sultat.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">V\u00e9rifier les limites de d\u00e9ploiement avant de commander<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">L'ajustement du mat\u00e9riel est une partie de la pr\u00e9paration. Confirmez la licence exacte du mod\u00e8le et l'utilisation autoris\u00e9e. V\u00e9rifiez la compatibilit\u00e9 des pilotes, du temps d'ex\u00e9cution et des artefacts.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Contr\u00f4lez l'acc\u00e8s au point de terminaison d'inf\u00e9rence. D\u00e9finissez les limites de taille de requ\u00eate, de sortie, de file d'attente et de d\u00e9bit. D\u00e9finir les r\u00e8gles de journalisation et de conservation. Passez en revue les connexions sortantes, les int\u00e9grations externes, les outils et les API de secours si les donn\u00e9es doivent rester \u00e0 l'int\u00e9rieur d'une limite sp\u00e9cifique.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Un serveur d\u00e9di\u00e9 lou\u00e9 n'est pas automatiquement sur site ou \u00e0 intervalles a\u00e9riens. L'auto-h\u00e9bergement vous permet de contr\u00f4ler les choix de d\u00e9ploiement ; Cela ne prouve pas que chaque invite reste priv\u00e9e dans toutes les configurations.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Planifiez les mises \u00e0 jour du mod\u00e8le, les fichiers de restauration, la surveillance et la r\u00e9cup\u00e9ration. Si le service doit se poursuivre pendant une d\u00e9faillance de l'h\u00f4te, l'architecture a besoin d'une capacit\u00e9 de r\u00e9serve en dehors de cet h\u00f4te. Plusieurs GPU \u00e0 l'int\u00e9rieur d'un serveur ne fournissent pas de deuxi\u00e8me h\u00f4te.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Foire aux questions<\/span><\/h2>\n<h3><span style=\"font-weight: 400;\">Puis-je h\u00e9berger un LLM sans un GPU\u00a0?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Oui. Les temps d'ex\u00e9cution pris en charge peuvent ex\u00e9cuter des mod\u00e8les sur les CPU, et certains peuvent diviser le travail entre le CPU et le GPU. Commencez avec un mod\u00e8le et un format adapt\u00e9s \u00e0 la RAM du syst\u00e8me, puis testez le temps de r\u00e9ponse. L'inf\u00e9rence CPU uniquement peut convenir aux t\u00e2ches par lots ou \u00e0 basse fr\u00e9quence, mais la pertinence interactive doit \u00eatre mesur\u00e9e.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Est-ce que 24\u00a0Go de VRAM est suffisante pour un serveur LLM\u00a0?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Cela d\u00e9pend de l'artefact, du contexte, des requ\u00eates actives et de l'ex\u00e9cution. Plusieurs mod\u00e8les quantifi\u00e9s compacts peuvent s'adapter, mais l'ajustement de la m\u00e9moire n'\u00e9tablit pas la capacit\u00e9 de production. Les poids \u00e0 quatre bits id\u00e9alis\u00e9s d'un mod\u00e8le 70B nominal n\u00e9cessitent \u00e0 eux seuls 35\u00a0Go, ce qui d\u00e9passe 24\u00a0Go de VRAM disponible.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">De combien de m\u00e9moire un mod\u00e8le 70B a-t-il besoin\u00a0?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Les planchers de poids id\u00e9alis\u00e9s sont de 140 Go \u00e0 16 bits, 70 Go \u00e0 huit bits et 35 Go \u00e0 quatre bits. Ajoutez une surcharge de format, un cache, une m\u00e9moire de travail et une r\u00e9serve. Le placement sur le GPU et la m\u00e9moire h\u00f4te d\u00e9pend de l'ex\u00e9cution.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Deux GPU de 24\u00a0Go peuvent-ils remplacer un GPU plus grand\u00a0?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Parfois, si le mod\u00e8le et l'ex\u00e9cution prennent en charge une r\u00e9partition appropri\u00e9e. Ils ne sont pas automatiquement \u00e9quivalents \u00e0 un appareil plus grand. La communication, la surcharge par appareil, le placement du cache et la topologie du serveur affectent \u00e0 la fois l'ajustement et la vitesse.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Pourquoi le mod\u00e8le se charge-t-il mais \u00e9choue-t-il avec plusieurs requ\u00eates\u00a0?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Le chargement v\u00e9rifie si l'allocation initiale du mod\u00e8le s'adapte. Des demandes suppl\u00e9mentaires peuvent augmenter le cache et la demande de m\u00e9moire de travail. Mesurez le point de d\u00e9faillance exact et v\u00e9rifiez le contexte, les limites de s\u00e9quence active et les autres services charg\u00e9s avant de changer de mat\u00e9riel.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">De combien de RAM syst\u00e8me un serveur d'inf\u00e9rence a-t-il besoin\u00a0?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Budget pour les pics de d\u00e9marrage, le syst\u00e8me d'exploitation, le temps d'ex\u00e9cution, les services d'API, le d\u00e9chargement du processeur et tous les composants de r\u00e9cup\u00e9ration. Mesurez \u00e0 la fois le chargement et le fonctionnement r\u00e9gulier. Il n'y a pas d'exigence fixe de RAM syst\u00e8me qui d\u00e9coule du nombre de param\u00e8tres ou de la m\u00e9moire GPU.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Un serveur d\u00e9di\u00e9 est-il moins cher qu'une API\u00a0?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Cela peut \u00eatre le cas, mais comparez les co\u00fbts complets \u00e0 une qualit\u00e9 de t\u00e2che et \u00e0 un temps de r\u00e9ponse \u00e9quivalents. Une demande faible ou irr\u00e9guli\u00e8re peut laisser le mat\u00e9riel lou\u00e9 inactif. Une demande soutenue peut am\u00e9liorer l'utilisation, \u00e0 condition que le serveur s\u00e9lectionn\u00e9 puisse la g\u00e9rer dans la cible de service.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">\u00c9tapes suivantes recommand\u00e9es<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Choisissez le mat\u00e9riel \u00e0 partir d'un profil de requ\u00eate document\u00e9, et non le nombre de param\u00e8tres seul. Calculez les poids et le cache s\u00e9par\u00e9ment, ajoutez le budget complet du serveur et testez les configurations qui restent.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Avant de valider\u00a0:<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Corrigez la r\u00e9vision du mod\u00e8le, l'artefact, le contexte et la cible de requ\u00eate active.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Calculez le budget de la m\u00e9moire en utilisant des unit\u00e9s coh\u00e9rentes.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Confirmez la prise en charge de l'ex\u00e9cution et le placement par appareil.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Testez la latence, le d\u00e9bit, la qualit\u00e9 et le comportement de d\u00e9faillance.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Comparez les co\u00fbts complets sur la m\u00eame p\u00e9riode.<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">Pour discuter d'une configuration appropri\u00e9e, passez en revue <\/span><a href=\"https:\/\/atalnetworks.com\/fr\/dedicated-servers\/\"><span style=\"font-weight: 400;\">Serveurs d\u00e9di\u00e9s Atal Networks<\/span><\/a><span style=\"font-weight: 400;\"> et partagez votre mod\u00e8le, votre profil de demande, votre estimation de la m\u00e9moire, votre emplacement et vos besoins en logiciels. Confirmez la disponibilit\u00e9 du GPU et les options prises en charge pour l'offre sp\u00e9cifique avant de commander.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Sources et notes de calcul<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Les sources ont \u00e9t\u00e9 v\u00e9rifi\u00e9es le 28\u00a0octobre\u00a02026. Les configurations de mod\u00e8les, la prise en charge de l'ex\u00e9cution et le comportement des logiciels peuvent changer, donc enregistrez la version utilis\u00e9e pour un d\u00e9ploiement.<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/github.com\/meta-llama\/llama-models\/blob\/main\/models\/sku_list.py\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Configurations du mod\u00e8le de m\u00e9ta-lama<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/huggingface.co\/docs\/transformers\/en\/kv_cache\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Strat\u00e9gies de cache de visage<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.vllm.ai\/en\/stable\/configuration\/conserving_memory\/\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Contr\u00f4les de m\u00e9moire VLLM<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.vllm.ai\/en\/stable\/serving\/parallelism_scaling\/\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Parall\u00e9lisme et mise \u00e0 l'\u00e9chelle de VLLM<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.ollama.com\/faq\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">FAQ Ollama<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Projet Llama.cpp<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/developer.nvidia.com\/blog\/?p=98215\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Concepts d'analyse comparative de l'inf\u00e9rence NVIDIA<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.nvidia.com\/deeplearning\/triton-inference-server\/user-guide\/docs\/perf_analyzer\/genai-perf\/README.html\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Statut de l'outil de r\u00e9f\u00e9rence NVIDIA<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-weight: 400;\">Les tableaux de poids utilisent des nombres de bits id\u00e9alis\u00e9s et des Go d\u00e9cimaux. Les chiffres de KV-Cache utilisent le GIB binaire et les hypoth\u00e8ses d'attention compl\u00e8tes indiqu\u00e9es. L'allocation de poids de 5 GIB, l'entr\u00e9e de la m\u00e9moire de travail de 2 GIB, la r\u00e9serve de 2 GIB et l'exemple du dollar sont des intrants d'enseignement fictifs. Il ne s'agit pas de mesures atales, de prix ou de sinistres de capacit\u00e9.<\/span><\/p>","protected":false},"excerpt":{"rendered":"<p>To self-host an LLM on a dedicated server, size the hardware for the model, context length, active requests, and response-time [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":25140,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"default","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"set","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[6],"tags":[],"class_list":["post-25139","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-dedicated-server-hosting"],"acf":[],"_links":{"self":[{"href":"https:\/\/atalnetworks.com\/fr\/wp-json\/wp\/v2\/posts\/25139","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/atalnetworks.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/atalnetworks.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/fr\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/fr\/wp-json\/wp\/v2\/comments?post=25139"}],"version-history":[{"count":3,"href":"https:\/\/atalnetworks.com\/fr\/wp-json\/wp\/v2\/posts\/25139\/revisions"}],"predecessor-version":[{"id":25143,"href":"https:\/\/atalnetworks.com\/fr\/wp-json\/wp\/v2\/posts\/25139\/revisions\/25143"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/fr\/wp-json\/wp\/v2\/media\/25140"}],"wp:attachment":[{"href":"https:\/\/atalnetworks.com\/fr\/wp-json\/wp\/v2\/media?parent=25139"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/atalnetworks.com\/fr\/wp-json\/wp\/v2\/categories?post=25139"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/atalnetworks.com\/fr\/wp-json\/wp\/v2\/tags?post=25139"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}