{"id":25139,"date":"2026-10-28T06:25:00","date_gmt":"2026-10-28T06:25:00","guid":{"rendered":"https:\/\/atalnetworks.com\/?p=25139"},"modified":"2026-10-28T06:28:33","modified_gmt":"2026-10-28T06:28:33","slug":"llm-inference-server-sizing","status":"publish","type":"post","link":"https:\/\/atalnetworks.com\/de\/blog\/llm-inference-server-sizing\/","title":{"rendered":"Self-Hosting LLMs auf einem dedizierten Server: Hardware-Sizing-Handbuch"},"content":{"rendered":"<p><b>Um ein LLM auf einem dedizierten Server selbst zu hosten, ordnen Sie die Hardware f\u00fcr das Modell, die Kontextl\u00e4nge, die aktiven Anforderungen und das Antwortzeitziel an.<\/b><span style=\"font-weight: 400;\"> Budget f\u00fcr Modellgewichte, Anforderungsspeicher, Laufzeit-Overhead, System-RAM, CPU-Arbeit und Speicher. Ein Modell, das erfolgreich geladen wurde, hat eine Speicherpr\u00fcfung bestanden, nicht einen Produktionskapazit\u00e4tstest.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Die L\u00fccke wird w\u00e4hrend einer gesch\u00e4ftigen Stunde klar. Eine kurze Anfrage funktioniert. Mehrere Benutzer reichen lange Dokumente ein, die Anforderungswarteschlange w\u00e4chst und derselbe Server hat keinen Speicher mehr oder es dauert zu lange, bis die Antwort erfolgt.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Vermeiden Sie dieses Problem, indem Sie in dieser Reihenfolge planen:<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Definieren Sie das genaue Modell und Anforderungsprofil.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Berechnen Sie den Gewichtsspeicher und den Cache-Speicher separat.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Budget f\u00fcr den kompletten Server und unterst\u00fctzende Dienste.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Testen Sie realistischen Verkehr gegen Reaktionszeit und Qualit\u00e4tsziele.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Vergleichen Sie die vollst\u00e4ndigen Kosten f\u00fcr die bestandenen Konfigurationen.<\/span><\/li>\n<\/ol>\n<h2><span style=\"font-weight: 400;\">Beginnen Sie mit dem Modell und dem Anforderungsprofil<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Die Servergr\u00f6\u00dfe beginnt mit dem, was die Anwendung tun muss. \"Run ein LLM f\u00fcr unser Team\" ist zu breit, um eine n\u00fctzliche Hardwareempfehlung zu erstellen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Notieren Sie diese Eingaben, bevor Sie Server vergleichen:<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Eingang<\/b><\/th>\n<th><b>Was aufzunehmen<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Modell-<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Genauer Name, Revision, Architektur und Lizenz<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Gewichtsformat<\/span><\/td>\n<td><span style=\"font-weight: 400;\">FP16, BF16 oder das spezifische quantisierte Artefakt<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Kontext<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Normale und maximale Anzahl von Eingabe-Plus-Ausgabe-Token-Z\u00e4hlungen<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Verkehr<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Aktive Generationen, Ankunftsrate und Burst-Verhalten<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Performance<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Zeit bis zum ersten Token und akzeptable Abschlusszeit<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Qualit\u00e4t<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Aufgaben, die das Modell korrekt ausf\u00fchren muss<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Andere Dienstleistungen<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Einbettungen, Reranking, Vektorsuche, APIs und \u00dcberwachung<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Gesch\u00e4ftst\u00e4tigkeit<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Aktualisierungsprozess, Wiederherstellungsanforderungen und Wachstumsreserve<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Der Kontext umfasst Systemanweisungen, Chat-Verlauf, abgerufenen Text, Benutzereingaben und generierte Ausgaben. Eine kurze Frage kann eine lange Modelleingabe erzeugen, wenn die Anwendung mehrere Dokumente hinzuf\u00fcgt.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Auch Benutzer von aktiven Anfragen trennen. Ein Dienst mit 100 registrierten Benutzern kann nur wenige Generationen gleichzeitig ausf\u00fchren. Ein Agent, der von einer Person verwendet wird, kann w\u00e4hrend einer einzelnen Aufgabe mehrere Anfragen ausgeben.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Eine Definition des Serving-Prozesses finden Sie unter <\/span><a href=\"https:\/\/atalnetworks.com\/de\/what-is-ai-inference\/\"><span style=\"font-weight: 400;\">Was KI-Inferenz bedeutet<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Halten Sie die Schlussfolgerung vom Training getrennt<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Dieser Leitfaden behandelt die Inferenz: Verwenden eines bereits trainierten Modells, um eine Antwort zu erstellen. Das Training und die Feinabstimmung k\u00f6nnen je nach Methode zus\u00e4tzlichen Speicher f\u00fcr Gradienten, Optimiererstatus und Aktivierungen erfordern.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Verwenden Sie keine Inferenzgr\u00f6\u00dfentabelle als Trainingsempfehlung. Wenn derselbe Computer Benutzer bedienen und Feinabstimmungsauftr\u00e4ge ausf\u00fchren muss, testen Sie den kombinierten Zeitplan oder trennen Sie diese Workloads.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Berechnen Sie zuerst den Modellgewichtsspeicher<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Modellgewichte sind die w\u00e4hrend der Inferenz verwendeten numerischen Werte. Ihr Speicherfu\u00dfabdruck bietet den Ausgangspunkt f\u00fcr ein Hardware-Budget.<\/span><\/p>\n<p><b>Idealisierter Gewichtsspeicher in Bytes = Parameteranzahl \u00d7 Bits pro Gewicht \u00f7 8<\/b><\/p>\n<p><span style=\"font-weight: 400;\">F\u00fcr ein nominelles 8-Milliarden-Parameter-Modell mit 16 Bit:<\/span><\/p>\n<p><b>8.000.000.000 \u00d7 16 \u00f7 8 = 16.000.000.000 Byte oder 16 GB<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Bei einer idealisierten vier Bits pro Gewicht ergibt die gleiche Berechnung 4 GB.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Nennmodellgr\u00f6\u00dfe<\/b><\/th>\n<th><b>FP16 \/ BF16 Gewichtsboden<\/b><\/th>\n<th><b>8-Bit-Gewichtsboden<\/b><\/th>\n<th><b>4-Bit-Gewichtsboden<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">8b<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4 GB<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">14b<\/span><\/td>\n<td><span style=\"font-weight: 400;\">28 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">14 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">7 GB<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32b<\/span><\/td>\n<td><span style=\"font-weight: 400;\">64 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 GB<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">70b<\/span><\/td>\n<td><span style=\"font-weight: 400;\">140 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">70 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">35 GB<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><b>Diese Figuren decken nur idealisierte Gewichte ab.<\/b><span style=\"font-weight: 400;\"> Sie schlie\u00dfen Anforderungs-Cache, Arbeitspuffer, Quantisierungsmetadaten und andere Laufzeitzuordnungen aus. Das genaue Modell kann auch mehr Parameter haben, als der abgerundete Name vermuten l\u00e4sst.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Warum eine 4-Bit-Datei mehr als die Rohberechnung ben\u00f6tigt<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Ein quantisiertes Artefakt kann Skalenwerte, Metadaten und Tensoren enthalten, die mit anderen Pr\u00e4zisionen gespeichert sind. Die heruntergeladene Gr\u00f6\u00dfe und der geladene Speicherfu\u00dfabdruck k\u00f6nnen unterschiedlich sein.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Zeichnen Sie das genaue Artefakt auf und \u00fcberpr\u00fcfen Sie dann den Speicher, nachdem Sie es in der vorgesehenen Laufzeit geladen haben. Behandeln Sie nicht jedes Format mit der Bezeichnung \u201e4-Bit\u201c als austauschbar.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Das Reduzieren der Gewichtsgenauigkeit verringert nicht automatisch die Pr\u00e4zision des Anforderungs-Cache. Dies sind separate Einstellungen mit separater Kompatibilit\u00e4t und Qualit\u00e4tspr\u00fcfungen.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Verwenden Sie die Gesamtparameter f\u00fcr die MOE-Gewichtsplanung<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Ein Expertenmischungsmodell oder ein MOE-Modell aktiviert nur einen Teil seines Expertennetzwerks f\u00fcr jeden Token. Das kann die Berechnung im Vergleich zur Verwendung jedes Experten verringern, aber die anderen Gewichte ben\u00f6tigen noch einen Platzierungsplan.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">F\u00fcr die vollst\u00e4ndige Residenz das Budget f\u00fcr das gespeicherte Modell, nicht nur f\u00fcr die Anzahl der aktiven Parameter. Das Expert-Offload und die verteilte Platzierung k\u00f6nnen sich \u00e4ndern, wo der Speicher verwendet wird, sie f\u00fchren jedoch ihre eigenen \u00dcbertragungs- und Ausf\u00fchrungskosten ein.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Halten Sie GB und GiB konsistent<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Ein GB ist eine Milliarde Bytes. Ein GIB ist 1.073.741.824 Byte. Eine 4-GB-Nutzlast betr\u00e4gt ungef\u00e4hr 3,73 GiB.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Konvertieren Sie Werte in dieselbe Einheit, bevor Sie den Modellspeicher von einem Ger\u00e4tebudget subtrahieren. Verwenden Sie den tats\u00e4chlichen verf\u00fcgbaren Speicher, der f\u00fcr die Bereitstellung gemeldet wurde, anstatt ein Produktetikett mit einer anderen gemeldeten Messung zu mischen.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">F\u00fcgen Sie KV-Cache, Kontextl\u00e4nge und gleichzeitige Anforderungen hinzu<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Der Schl\u00fcsselwert-Cache, der \u00fcblicherweise als <\/span><b>KV-Cache<\/b><span style=\"font-weight: 400;\">, speichert die verwendeten Aufmerksamkeitsdaten, w\u00e4hrend das Modell Text generiert. Modellgewichte k\u00f6nnen \u00fcber Anforderungen innerhalb einer Modellinstanz geteilt werden, aktive Sequenzen ben\u00f6tigen jedoch auch den Anforderungsstatus.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Aus diesem Grund k\u00f6nnen l\u00e4ngere Kontexte und aktivere Anfragen Speicher verbrauchen, selbst wenn sich das geladene Modell nicht \u00e4ndert.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Sch\u00e4tzen Sie f\u00fcr einen herk\u00f6mmlichen Decoder mit dem gleichen vollen Aufmerksamkeitslayout in jeder Ebene die logische Cache-Nutzlast wie folgt ab:<\/span><\/p>\n<p><b>kV-Bytes \u2248 2 \u00d7 Ebenen \u00d7 kV-K\u00f6pfe \u00d7 Kopfdimension \u00d7 Bytes pro zwischengespeicherter Wert \u00d7 Gesamt zwischengespeicherte Token<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Der Faktor zwei ber\u00fccksichtigt Schl\u00fcssel und Werte. Total zwischengespeicherte Tokens bedeutet die Summe \u00fcber aktive Sequenzen. Wenn alle Sequenzen die gleiche L\u00e4nge haben, multiplizieren Sie diese L\u00e4nge mit der Anzahl der aktiven Sequenzen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Dies ist nicht f\u00fcr jedes Modell eine universelle Formel. Die Aufmerksamkeit des Schiebefensters, andere Cache-Architekturen, Cache-Quantisierung und Laufzeitzuweisungsregeln k\u00f6nnen die Berechnung \u00e4ndern. Umarmen von Gesichtsdokumenten Cache-Strategien mit unterschiedlichem Speicherverhalten, einschlie\u00dflich Grenzen f\u00fcr Schiebefenster und Chunked-Attention-Ebenen.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">A worked cache example<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Meta&#8217;s Llama 3.1 8B configuration uses 32 layers, 32 attention heads, eight KV heads, and a hidden dimension of 4,096. The head dimension is 4,096 \u00f7 32 = 128.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Nehmen Sie einen 2-Byte-KV-Cache, volle Aufmerksamkeit und keine Pr\u00e4fixfreigabe an:<\/span><\/p>\n<p><b>2 \u00d7 32 \u00d7 8 \u00d7 128 \u00d7 2 = 131.072 Byte pro zwischengespeicherter Token pro Sequenz<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Das entspricht 128 KiB.\u00a0<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>zwischengespeicherte Tokens pro Sequenz<\/b><\/th>\n<th><b>Aktive Sequenzen<\/b><\/th>\n<th><b>Berechnete logische KV-Nutzlast<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32 Gib<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Das Modell ist unver\u00e4ndert, fordert jedoch einen starken Speicherwechsel an. Aus diesem Grund kann das Hinzuf\u00fcgen eines festen Prozentsatzes zur Modellgr\u00f6\u00dfe nicht f\u00fcr jeden Kontext und jedes Parallelit\u00e4tsziel ber\u00fccksichtigt werden.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Dies sind berechnete Nutzlasten, nicht gemessene GPU-Zuordnungen. Eine Laufzeit kann Cache-Bl\u00f6cke im Voraus reservieren oder Zuweisungen zur Wiederverwendung beibehalten. Der von einem \u00dcberwachungstool gemeldete Speicher kann daher von der Live-Token-Nutzlast abweichen.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Erstellen Sie ein vollst\u00e4ndiges GPU-Speicherbudget<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Beginnen Sie f\u00fcr eine vollst\u00e4ndig GPU-residente Bereitstellung mit:<\/span><\/p>\n<p><b>GPU-Speicherbudget = geladene Gewichte + kV-Zuordnung + Laufzeitarbeitsspeicher + Betriebsreserve<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Verwenden Sie nach M\u00f6glichkeit gemessene Laufzeitwerte. Vermeiden Sie es, denselben reservierten Cache-Pool zweimal zu z\u00e4hlen.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Beispiel: Ein Short-Context-Assistent gegen\u00fcber einem gemeinsam genutzten Dienst<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Das Folgende ist a <\/span><b>Unterrichtsszenario<\/b><span style=\"font-weight: 400;\">, kein Atal-Benchmark. Angenommen:<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Geladene quantisierte Gewichte: 5 GiB.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Andere Laufzeitarbeitsspeicher: 2 GiB.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Betriebsreserve: 2 GiB.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Cache-Layout aus dem obigen Beispiel von Llama 3.1 8b.<\/span><\/li>\n<\/ul>\n<table>\n<thead>\n<tr>\n<th><b>Speicherelement<\/b><\/th>\n<th><b>Kurzkontext-Assistent<\/b><\/th>\n<th><b>Shared Service mit l\u00e4ngerem Kontext<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Aktive Sequenzen<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">zwischengespeicherte Tokens pro Sequenz<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Geladene Gewichte, angenommen<\/span><\/td>\n<td><span style=\"font-weight: 400;\">5 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">5 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Logische KV-Nutzlast, berechnet<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Anderes Arbeitsged\u00e4chtnis, angenommen<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Reserve, angenommen<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">kombinierte Planungssumme<\/span><\/td>\n<td><span style=\"font-weight: 400;\">10 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">25 Gib<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Unter diesen Annahmen l\u00f6scht das erste Profil eine 16-GIB-Speicherbudgetpr\u00fcfung. Der zweite \u00fcberschreitet ein Budget von 24 GiB. Kein Ergebnis zeigt Durchsatz oder Reaktionszeit.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Die Reserve- und Overhead-Zahlen sind Eingaben f\u00fcr dieses Beispiel, keine allgemeinen Empfehlungen. Ersetzen Sie sie durch Messungen aus der genauen Laufzeit und den Einstellungen, bevor Sie die Hardware ausw\u00e4hlen.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Was ist mit einem 70B-Modell?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Ein nominelles 70B-Modell hat eine idealisierte Vier-Bit-Gewichtsebene von 35 GB. Es kann nicht vollst\u00e4ndig GPU-resident innerhalb von 24 GB verf\u00fcgbaren Arbeitsspeicher sein, auch vor Cache und Overhead.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Zu den m\u00f6glichen Pfaden geh\u00f6ren eine GPU mit gr\u00f6\u00dferem Speicher, unterst\u00fctzte Multi-GPU-Platzierung, CPU-Offload oder ein kleineres Modell, das den Test in der Aufgabenqualit\u00e4t besteht. Ein 48-GB-Ger\u00e4t ist keine pauschale Empfehlung f\u00fcr jede 70b-Workload. Kontext, aktive Anfragen, Format-Overhead und Laufzeitverhalten sind immer noch wichtig.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">W\u00e4hlen Sie GPU-Hardware nach mehr als VRAM<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Genug Speicher erm\u00f6glicht eine Konfiguration. Es macht die Konfiguration nicht schnell genug.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Vergleichen Sie Kandidaten mit der gleichen Arbeitsbelastung:<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Hardware-Check<\/b><\/th>\n<th><b>Was zu best\u00e4tigen<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Verf\u00fcgbarer VRAM<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Tats\u00e4chliche Zuordnung nach Partitionen und anderen Prozessen<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Laufzeitunterst\u00fctzung<\/span><\/td>\n<td><span style=\"font-weight: 400;\">GPU-Architektur, Treiber-, Backend- und Modellunterst\u00fctzung<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Gewichts- und Cache-Formate<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Unterst\u00fctzte Kernel und Speicherverhalten<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Speicherbandbreite<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Leistung unter dem ausgew\u00e4hlten Modell- und Anforderungsmix<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Verbinden<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Ger\u00e4tetopologie f\u00fcr die gew\u00e4hlte Parallelmethode<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Strom und K\u00fchlung<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Dauerhafte Betriebsgrenzen im Server<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Servicebedingungen<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Dedizierte oder gemeinsam genutzte Ressourcen, Support und Ersatzprozess<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Vermeiden Sie es, eine GPU aus einer generischen Benutzer-pro-Kartentabelle auszuw\u00e4hlen. Zehn kurze Anfragen und zehn Long-Dokument-Anforderungen sind unterschiedliche Workloads.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Behalten Sie neben jeder Hardwareoption die Modellrevision, die Laufzeitversion, die Eingabeaufforderungs- \/ Ausgabelimits und das aktive Anforderungsziel bei. Ansonsten ist der Vergleich schwierig zu reproduzieren.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Gr\u00f6\u00dfe System-RAM, CPU, Speicher und Netzwerk<\/span><\/h2>\n<h3><span style=\"font-weight: 400;\">System-RAM: Budget f\u00fcr das Laden und Hosten von Diensten<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Der System-RAM unterst\u00fctzt das Betriebssystem, das Laden von Modellen, APIs, Tokenisierung, \u00dcberwachung und alle CPU-residenten Modelle oder Cache-Status. Das Einbetten von Modellen, Rerankern und Vektordatenbanken erh\u00f6ht die Nachfrage, wenn sie den Host gemeinsam nutzen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Messen Sie den Spitzenspeicher w\u00e4hrend des Starts sowie den station\u00e4ren Betrieb. Die Loading-Methode kann tempor\u00e4re Kopien oder Puffer verwenden, die nach dem Start nicht vorhanden sind.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Es gibt kein einzelnes RAM-zu-VRAM-Verh\u00e4ltnis, das zu jedem Inferenzstapel passt. Erstellen Sie ein Host-Budget aus der ausgew\u00e4hlten Laufzeit, dem Offload-Plan und den unterst\u00fctzenden Diensten. Ein Modell, das auf die GPU passt, kann beim Laden immer noch fehlschlagen, da der Host-Speicher nicht ausreicht.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">CPU: Ordnen Sie die Kerne und die Speicherbandbreite an die Aufgabe an<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Auf einem GPU-gest\u00fctzten Server \u00fcbernimmt die CPU weiterhin Anforderungsverarbeitung, Tokenisierung, Netzwerk und Anwendungsarbeit. CPU-only Inference macht auch die Prozessorausf\u00fchrung und das Verhalten des Systemspeichers f\u00fcr die Leistung von zentraler Bedeutung.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Testen Sie die beabsichtigte Threadzahl. Mehr Kerne f\u00fchren nicht automatisch zu einer passenden Erh\u00f6hung der Token-Rate. \u00dcberpr\u00fcfen Sie bei Multi-Socket-Systemen die Speicherlokalit\u00e4t und die Platzierung von GPUs und Netzwerkger\u00e4ten.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Ein dedizierter Server mit nur CPU kann ein Kandidat f\u00fcr Batch-Jobs, Experimente oder Niederfrequenzaufgaben sein. Ob es f\u00fcr den interaktiven Gebrauch geeignet ist, h\u00e4ngt vom Modell und der gemessenen Reaktionszeit ab.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">NVMe-Speicher: Versionen und Wiederherstellung einschlie\u00dfen<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Budgetspeicher f\u00fcr mehr als ein heruntergeladenes Modell:<\/span><\/p>\n<p><b>Speicherbudget = aktive Modelldateien + Rollback-Dateien + Laufzeitartefakte + Anwendungsdaten + Protokolle + freier Arbeitsbereich<\/b><\/p>\n<p><span style=\"font-weight: 400;\">F\u00fcgen Sie Vektorindizes und Dokumentdaten hinzu, wenn der Abruf den Server freigibt. Betrachten Sie auch tempor\u00e4re Downloads und Konvertierungsdateien.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Lokale NVMe k\u00f6nnen das Laden von Modellen und Verz\u00f6gerungen beim Datenzugriff reduzieren. Es garantiert keine h\u00f6here Erzeugungsrate, nachdem alle erforderlichen Gewichte im Speicher gespeichert sind. Messen Sie die Kaltstartzeit getrennt von der Warm-Anforderungsleistung.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Vernetzung: Client-Traffic vom Modellverkehr trennen<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Ein \u00f6ffentlicher Netzwerkport verarbeitet Client-Verbindungen, Downloads und \u00dcbertragungen. GPU-zu-GPU-Verbindungen und das Netzwerk zwischen verteilten Inferenzknoten dienen unterschiedlichen Zwecken.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Verwenden Sie keine \u00f6ffentliche 10-Gbit\/s-Portspezifikation als Beweis f\u00fcr die Inferenzleistung mit mehreren Knoten. \u00dcberpr\u00fcfen Sie die tats\u00e4chlichen Anforderungen an Topologie, Kommunikationsmethode und Laufzeit.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Messen Sie f\u00fcr Sprachanwendungen die volle Runde: Spracheingabe, Transkription, Modellantwort, Sprachgenerierung und -bereitstellung. Die LLM-Zeit zum ersten Token deckt nur einen Teil dieses Pfades ab.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Passen Sie das Laufzeit- und Multi-GPU-Design an die Workload an<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">W\u00e4hlen Sie die Laufzeit, bevor Sie eine endg\u00fcltige Hardwareentscheidung treffen. Es steuert die Modellunterst\u00fctzung, Platzierung, Stapelung und Speicherverwaltung.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Laufzeit<\/b><\/th>\n<th><b>N\u00fctzlicher Bewertungspfad<\/b><\/th>\n<th><b>\u00dcberpr\u00fcfen Sie, bevor Sie festlegen<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Ollama<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Modellversuche und einfacher Serving-Workflow<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Hardware-Unterst\u00fctzung, Kontext, parallele Anforderungen und geladene Modellgrenzen<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">lama.cpp<\/span><\/td>\n<td><span style=\"font-weight: 400;\">GGUF-Modelle, CPU-Inferenz und partielle GPU-Ausladung<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Build\/Backend, Artefakt-Unterst\u00fctzung, ausgeladene Schichten und gemessene Geschwindigkeit<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Vllm<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Batched Serving und unterst\u00fctzte Multi-GPU-Bereitstellungen<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Modell-\/Formatkompatibilit\u00e4t, Speichersteuerung, Topologie und Latenz unter Last<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Ollama dokumentiert erh\u00f6hten Speicherbedarf mit parallelen Anforderungen und l\u00e4ngerem Kontext. Lama.cpp unterst\u00fctzt CPU\/GPU-Hybrid-Inferenz. Dies sind Testoptionen, keine Garantien f\u00fcr eine bestimmte Token-Rate.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Ein Modell teilen oder separate Replikate ausf\u00fchren?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Das Teilen eines Modells auf GPUs kann helfen, wenn es nicht auf ein Ger\u00e4t passt. Tensorparallelit\u00e4t teilt unterst\u00fctzte Tensoroperationen; Die Pipeline-Parallelit\u00e4t teilt Modellstufen oder -schichten. MOE-Bereitstellungen k\u00f6nnen auch fachkundige Parallelit\u00e4t verwenden.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Repliken dienen einem anderen Zweck. Jede Kopie hat ihre eigenen Gewichte und kann einen separaten Satz von Anfragen verarbeiten. Replikate k\u00f6nnen die Bereitstellungskapazit\u00e4t hinzuf\u00fcgen, wenn eine Kopie bereits passt, aber sie kombinieren ihren Speicher nicht, um ein gr\u00f6\u00dferes Modell aufzunehmen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Zwei GPUs werden nicht zu einem automatischen Speicherpool. Die Zuweisung, Kommunikation und Laufzeitunterst\u00fctzung f\u00fcr Ger\u00e4te pro Ger\u00e4t schr\u00e4nkt das Layout immer noch ein. VLLM dokumentiert mehrere parallele Methoden und Topologie\u00fcberlegungen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">NVLink ist keine universelle Anforderung. Vergleichen Sie das tats\u00e4chlich unterst\u00fctzte Layout und vergleichen Sie es. Weder das Hinzuf\u00fcgen einer zweiten GPU noch das Verdoppeln des gesamten VRAM garantiert den doppelten Nutzen.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Benchmark den Server vor der Produktion<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Testen Sie das Anwendungsziel, nicht die h\u00f6chste Zahl in einem Benchmark-Screenshot.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Metrisch<\/b><\/th>\n<th><b>Was es dir sagt<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Zeit bis zum ersten Token oder TTFT<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Wie lange wartet der Client auf die anf\u00e4ngliche Modellausgabe?<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Inter-Token-Latenz<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Wie reibungslos die Ausgabe nach dem Start der Generierung ankommt<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Ausgaberate pro Anfrage<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Generierungsgeschwindigkeit, die von einer Anfrage erlebt wird<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Gesamtausgaberate<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Gesamtausgabe \u00fcber den Server<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Abschlusszeit anfordern<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Wie lange dauert die vollst\u00e4ndige Antwort?<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Fehler und Warteschlangenwachstum<\/span><\/td>\n<td><span style=\"font-weight: 400;\">ob die Nachfrage die Nutzkapazit\u00e4t \u00fcbersteigt<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Die Definitionen und Messgrenzen sind wichtig. Die Benchmark-Leitlinien von Nvidia unterscheiden Token-Raten auf Benutzerebene, Systemdurchsatz und Antwortlatenz. Behalten Sie die Definitionen des ausgew\u00e4hlten Werkzeugs mit den Ergebnissen bei.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Verwenden Sie einen wiederholbaren Akzeptanztest<\/span><\/h3>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Fixieren Sie die Konfiguration.<\/b><span style=\"font-weight: 400;\"> Aufzeichnungsmodellrevision, Artefakt, Tokenizer, Laufzeit, Treiber, GPU, CPU, RAM, Speicher und Leistungsbegrenzungen.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Testen Sie eine Anfrage.<\/b><span style=\"font-weight: 400;\"> Messen Sie kaltes und warmes Verhalten mit repr\u00e4sentativen Ein- und Ausgangsl\u00e4ngen.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Parallelit\u00e4t erh\u00f6hen.<\/b><span style=\"font-weight: 400;\"> \u00dcberpr\u00fcfen Sie normale und lange Anfragen auf mehreren aktiven Anforderungsstufen.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Test Ankunft platzt.<\/b><span style=\"font-weight: 400;\"> Senden Sie Anfragen mit der erwarteten Rate, damit Warteschlangen und \u00dcberlastungsverhalten sichtbar werden.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Qualit\u00e4t pr\u00fcfen.<\/b><span style=\"font-weight: 400;\"> Wiederholen Sie Aufgabentests nach dem \u00c4ndern der Pr\u00e4zisions-, Kontext- oder Serving-Einstellungen.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Notieren Sie die Passbedingungen.<\/b><span style=\"font-weight: 400;\"> Schlie\u00dfen Sie Latenz, erfolgreichen Durchsatz, Speicher, Qualit\u00e4t und erforderliche Reserve ein.<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">Verwenden Sie mehrere gemessene Wiederholungen nach dem konsequenten Aufw\u00e4rmen. Melden Sie Fehler, Stichprobenz\u00e4hlungen und die Verbreitung der Ergebnisse. Eine P99-Zahl, die auf zu wenigen Anfragen basiert, kann in die Irre gef\u00fchrt werden.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Wenn das Pr\u00e4fix-Caching aktiviert ist, testen Sie sowohl wiederholte als auch neue Pr\u00e4fixe. Wenn Sie die Maschine einbetten oder neu ranken, nehmen Sie sie in den Lasttest auf. Ein synthetisches kurzzeitiges Ergebnis kann keine Langdokumentkapazit\u00e4t feststellen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Verwenden Sie aktuelle Tools und zeichnen Sie deren Versionen auf. In der aktuellen GEAI-Perf-Dokumentation von Nvidia hei\u00dft es, dass es auslaufen wird und neue Benchmarking-Arbeiten an AIPERF weiterleitet.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Wenn Speicher die begrenzende Ressource ist<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Identifizieren Sie zun\u00e4chst, ob es sich um Modellladen, Cache-Reservierung, Kontextwachstum oder andere Dienste handelt. Dann \u00e4ndern Sie einen Faktor und testen Sie erneut.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Zu den m\u00f6glichen Optionen geh\u00f6ren ein kleineres Modell, ein unterst\u00fctztes quantisiertes Artefakt, k\u00fcrzere Kontextgrenzen, weniger aktive Sequenzen oder ein anderer Platzierungsplan. Diese Optionen k\u00f6nnen die Qualit\u00e4t, die Warteschlange und den Durchsatz \u00e4ndern.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">VLLM dokumentiert Kontext-L\u00e4nge und Sequenzbeschr\u00e4nkungen als Speichersteuerelemente und stellt fest, dass CUDA Graph Capture zus\u00e4tzlichen GPU-Speicher verwendet. Einstellungen als Teil der gemessenen Konfiguration behandeln.\u00a0<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Vergleichen Sie die Kosten f\u00fcr Selbsthosting mit APIs und Cloud-GPUs<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Vergleichen Sie nur Konfigurationen, die die erforderliche Aufgabenqualit\u00e4t und Antwortzeit erf\u00fcllen. Ein billiger Server, der unbrauchbare Antworten liefert, ist keine Ersparnis.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">F\u00fcr einen gemieteten dedizierten Server sind:<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Miet- und Einrichtungsgeb\u00fchren \u00fcber die geplante Laufzeit.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Speicher-, \u00dcbertragungs-, Software- und Supportgeb\u00fchren.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Betriebsarbeit f\u00fcr Updates, \u00dcberwachung und Vorf\u00e4lle.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Kapazit\u00e4t f\u00fcr Wartungs- oder Fehlerbehandlung erforderlich.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-weight: 400;\">F\u00fcgen Sie keinen Strom hinzu, wenn die Mietgeb\u00fchr bereits enthalten ist. Verwenden Sie f\u00fcr eigene Hardware ein separates Eigent\u00fcmermodell f\u00fcr Kauf, Energie, Einrichtungen und Unterst\u00fctzung.<\/span><\/p>\n<p><b>Kosten pro akzeptierter Anfrage = Vollst\u00e4ndige Kosten w\u00e4hrend eines Zeitraums \u00f7 Akzeptierte Anfragen in diesem Zeitraum<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Zum Beispiel ergibt eine fiktive monatliche Gesamtkosten von 1 TP4T1.200 geteilt durch 600.000 akzeptierte Anfragen $0.002 pro akzeptierter Anfrage. Dies ist eine Unterrichtsberechnung, kein Atal-Angebot oder eine gemessene Servierkapazit\u00e4t.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Gehen Sie nicht davon aus, dass die Anforderung mit der gleichen Antwortzeit auf denselben Server passt. Die Kosten \u00e4ndern sich, wenn sich die Kapazit\u00e4t, das Personal oder der Reservebedarf \u00e4ndern.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">F\u00fcr API-Vergleiche, Preiseingabe-Token, Ausgabe-Token, Caching und andere abgerechnete Kategorien separat. Schlie\u00dfen Sie f\u00fcr Cloud-GPUs die Betriebszeiten, den angeschlossenen Speicher, die \u00dcbertragungen und die erforderlichen unterst\u00fctzenden Dienste ein.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Es gibt kein universelles Token-Volumen, bei dem das Selbst-Hosting billiger wird. Auslastung, Modellqualit\u00e4t, Anforderungsl\u00e4nge, Hardware und Betriebsverantwortung bestimmen das Ergebnis.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">\u00dcberpr\u00fcfen Sie die Bereitstellungslimits vor der Bestellung<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Hardware-Fit ist ein Teil der Bereitschaft. Best\u00e4tigen Sie die genaue Modelllizenz und die zul\u00e4ssige Nutzung. \u00dcberpr\u00fcfen Sie die Treiber-, Laufzeit- und Artefaktkompatibilit\u00e4t.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Steuern Sie den Zugriff auf den Inferenzendpunkt. Legen Sie die Anforderungen an die Gr\u00f6\u00dfe, Ausgabe, Warteschlange und Rate fest. Definieren Sie Protokollierungs- und Aufbewahrungsregeln. \u00dcberpr\u00fcfen Sie ausgehende Verbindungen, externe Einbettungen, Tools und Fallback-APIs, wenn die Daten innerhalb einer bestimmten Grenze bleiben m\u00fcssen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Ein gemieteter dedizierter Server wird nicht automatisch vor Ort oder in der Luft gegappt. Durch das Selbst-Hosting haben Sie die Kontrolle \u00fcber die Bereitstellungsoptionen. Es beweist nicht, dass jede Eingabeaufforderung unter jeder Konfiguration privat bleibt.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Planen Sie Modellaktualisierungen, Rollback-Dateien, \u00dcberwachung und Wiederherstellung. Wenn der Service w\u00e4hrend eines Hostfehlers fortgesetzt werden muss, ben\u00f6tigt die Architektur eine freie Kapazit\u00e4t au\u00dferhalb dieses Hosts. Mehrere GPUs in einem Server stellen keinen zweiten Host bereit.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">H\u00e4ufig gestellte Fragen<\/span><\/h2>\n<h3><span style=\"font-weight: 400;\">Kann ich einen LLM ohne GPU selbst hosten?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Ja. Unterst\u00fctzte Laufzeiten k\u00f6nnen Modelle auf CPUs ausf\u00fchren, und einige k\u00f6nnen die Arbeit zwischen CPU und GPU aufteilen. Beginnen Sie mit einem Modell und einem Format, das dem System-RAM entspricht, und testen Sie dann die Reaktionszeit. Nur CPU-Inferenz kann Batch- oder niederfrequente Aufgaben erf\u00fcllen, aber die interaktive Eignung muss gemessen werden.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Reichen 24 GB VRAM f\u00fcr einen LLM-Server aus?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Dies h\u00e4ngt vom Artefakt, dem Kontext, den aktiven Anforderungen und der Laufzeit ab. Einige kompakte quantisierte Modelle passen m\u00f6glicherweise, aber die Memory Fit stellt keine Produktionskapazit\u00e4t fest. Allein die idealisierten Vier-Bit-Gewichte eines nominellen 70B-Modells erfordern 35 GB, was 24 GB des verf\u00fcgbaren VRAM \u00fcberschreitet.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Wie viel Speicher ben\u00f6tigt ein 70B-Modell?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Die idealisierten Stockwerke sind 140 GB bei 16 Bit, 70 GB bei acht Bit und 35 GB bei vier Bits. F\u00fcgen Sie Format-Overhead, Cache, Arbeitsspeicher und Reservierung hinzu. Die Platzierung \u00fcber GPU und Hostspeicher h\u00e4ngt von der Laufzeit ab.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">K\u00f6nnen zwei 24-GB-GPUs eine gr\u00f6\u00dfere GPU ersetzen?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Manchmal, wenn das Modell und die Laufzeit eine geeignete Aufteilung unterst\u00fctzen. Sie entsprechen nicht automatisch einem gr\u00f6\u00dferen Ger\u00e4t. Kommunikation, Pro-Ger\u00e4te-Overhead, Cache-Platzierung und Servertopologie wirken sich auf Anpassung und Geschwindigkeit aus.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Warum l\u00e4dt das Modell aber mit mehreren Anfragen?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Das Laden pr\u00fcft, ob die anf\u00e4ngliche Modellzuordnung passt. Zus\u00e4tzliche Anfragen k\u00f6nnen den Cache- und Arbeitsspeicherbedarf erh\u00f6hen. Messen Sie den genauen Fehlerpunkt und \u00fcberpr\u00fcfen Sie den Kontext, die aktiven Sequenzgrenzen und andere geladene Dienste, bevor Sie die Hardware \u00e4ndern.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Wie viel System-RAM ben\u00f6tigt ein Inferenzserver?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Budget f\u00fcr Startspitzen, das Betriebssystem, die Laufzeit, API-Dienste, die CPU-Offload und alle Abrufkomponenten. Messen Sie sowohl das Laden als auch den station\u00e4ren Betrieb. Es gibt keine feste System-RAM-Anforderung, die allein aus der Parameterz\u00e4hlung oder dem GPU-Speicher folgt.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Ist ein dedizierter Server billiger als eine API?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Es kann sein, aber vergleichen Sie die vollst\u00e4ndigen Kosten bei gleicher Aufgabenqualit\u00e4t und Reaktionszeit. Geringe oder unregelm\u00e4\u00dfige Nachfrage kann gemietete Hardware im Leerlauf lassen. Eine nachhaltige Nachfrage kann die Auslastung verbessern, vorausgesetzt, der ausgew\u00e4hlte Server kann dies innerhalb des Serviceziels verarbeiten.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Empfohlene n\u00e4chste Schritte<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">W\u00e4hlen Sie Hardware aus einem dokumentierten Anforderungsprofil, nicht nur die Parameteranzahl. Berechnen Sie Gewichte und Cache getrennt, f\u00fcgen Sie das volle Serverbudget hinzu und testen Sie die verbleibenden Konfigurationen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Vor dem Begehen:<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Korrigieren Sie die Modellrevision, das Artefakt, den Kontext und das aktive Anforderungsziel.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Berechnen Sie das Speicherbudget mit konsistenten Einheiten.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Best\u00e4tigen Sie die Laufzeitunterst\u00fctzung und die Platzierung pro Ger\u00e4t.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Testen Sie Latenz, Durchsatz, Qualit\u00e4t und Ausfallverhalten.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Vergleichen Sie vollst\u00e4ndige Kosten im selben Zeitraum.<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">Um eine geeignete Konfiguration zu diskutieren, \u00fcberpr\u00fcfen Sie <\/span><a href=\"https:\/\/atalnetworks.com\/de\/dedicated-servers\/\"><span style=\"font-weight: 400;\">Atal Networks Dedicated Server<\/span><\/a><span style=\"font-weight: 400;\"> und teilen Sie Ihr Modell, Anforderungsprofil, Speichersch\u00e4tzung, Standort und Softwareanforderungen. Best\u00e4tigen Sie die GPU-Verf\u00fcgbarkeit und unterst\u00fctzte Optionen f\u00fcr das jeweilige Angebot vor der Bestellung.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Quellen und Berechnungshinweise<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Die Quellen wurden am 28. Oktober 2026 \u00fcberpr\u00fcft. Modellkonfigurationen, Laufzeitunterst\u00fctzung und Softwareverhalten k\u00f6nnen sich \u00e4ndern. Zeichnen Sie daher die f\u00fcr eine Bereitstellung verwendete Version auf.<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/github.com\/meta-llama\/llama-models\/blob\/main\/models\/sku_list.py\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Meta-Lama-Modellkonfigurationen<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/huggingface.co\/docs\/transformers\/en\/kv_cache\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Hugging Face cache strategies<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.vllm.ai\/en\/stable\/configuration\/conserving_memory\/\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">VLLM-Speichersteuerung<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.vllm.ai\/en\/stable\/serving\/parallelism_scaling\/\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">VLLM-Parallelit\u00e4t und -skalierung<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.ollama.com\/faq\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">OLLAMA FAQ<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Lama.cpp-Projekt<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/developer.nvidia.com\/blog\/?p=98215\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">NVIDIA-Inferenz-Benchmarking-Konzepte<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.nvidia.com\/deeplearning\/triton-inference-server\/user-guide\/docs\/perf_analyzer\/genai-perf\/README.html\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">NVIDIA-Benchmark-Tool-Status<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-weight: 400;\">Gewichtstabellen verwenden idealisierte Bitanzahl und Dezimal-GB. KV-Cache-Zahlen verwenden bin\u00e4res GIB und die angegebenen Annahmen zur vollst\u00e4ndigen Aufmerksamkeit. Die 5-Gib-Gewichtszuweisung, 2 GiB-Arbeitsspeicher-Input, 2 GiB-Reserve und Dollar-Beispiel sind fiktive Unterrichtseing\u00e4nge. Es handelt sich nicht um Atal-Messungen, Preise oder Kapazit\u00e4tsanspr\u00fcche.<\/span><\/p>","protected":false},"excerpt":{"rendered":"<p>To self-host an LLM on a dedicated server, size the hardware for the model, context length, active requests, and response-time [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":25140,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"default","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"set","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[6],"tags":[],"class_list":["post-25139","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-dedicated-server-hosting"],"acf":[],"_links":{"self":[{"href":"https:\/\/atalnetworks.com\/de\/wp-json\/wp\/v2\/posts\/25139","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/atalnetworks.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/atalnetworks.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/de\/wp-json\/wp\/v2\/comments?post=25139"}],"version-history":[{"count":3,"href":"https:\/\/atalnetworks.com\/de\/wp-json\/wp\/v2\/posts\/25139\/revisions"}],"predecessor-version":[{"id":25143,"href":"https:\/\/atalnetworks.com\/de\/wp-json\/wp\/v2\/posts\/25139\/revisions\/25143"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/de\/wp-json\/wp\/v2\/media\/25140"}],"wp:attachment":[{"href":"https:\/\/atalnetworks.com\/de\/wp-json\/wp\/v2\/media?parent=25139"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/atalnetworks.com\/de\/wp-json\/wp\/v2\/categories?post=25139"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/atalnetworks.com\/de\/wp-json\/wp\/v2\/tags?post=25139"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}