Self-Hosting LLMs auf einem dedizierten Server: Hardware-Sizing-Handbuch

Self-Hosting LLM-Hardwaregrößenanleitung 1

Um ein LLM auf einem dedizierten Server selbst zu hosten, ordnen Sie die Hardware für das Modell, die Kontextlänge, die aktiven Anforderungen und das Antwortzeitziel an. Budget für Modellgewichte, Anforderungsspeicher, Laufzeit-Overhead, System-RAM, CPU-Arbeit und Speicher. Ein Modell, das erfolgreich geladen wurde, hat eine Speicherprüfung bestanden, nicht einen Produktionskapazitätstest.

Die Lücke wird während einer geschäftigen Stunde klar. Eine kurze Anfrage funktioniert. Mehrere Benutzer reichen lange Dokumente ein, die Anforderungswarteschlange wächst und derselbe Server hat keinen Speicher mehr oder es dauert zu lange, bis die Antwort erfolgt.

Vermeiden Sie dieses Problem, indem Sie in dieser Reihenfolge planen:

  1. Definieren Sie das genaue Modell und Anforderungsprofil.
  2. Berechnen Sie den Gewichtsspeicher und den Cache-Speicher separat.
  3. Budget für den kompletten Server und unterstützende Dienste.
  4. Testen Sie realistischen Verkehr gegen Reaktionszeit und Qualitätsziele.
  5. Vergleichen Sie die vollständigen Kosten für die bestandenen Konfigurationen.

Beginnen Sie mit dem Modell und dem Anforderungsprofil

Die Servergröße beginnt mit dem, was die Anwendung tun muss. "Run ein LLM für unser Team" ist zu breit, um eine nützliche Hardwareempfehlung zu erstellen.

Notieren Sie diese Eingaben, bevor Sie Server vergleichen:

Eingang Was aufzunehmen
Modell- Genauer Name, Revision, Architektur und Lizenz
Gewichtsformat FP16, BF16 oder das spezifische quantisierte Artefakt
Kontext Normale und maximale Anzahl von Eingabe-Plus-Ausgabe-Token-Zählungen
Verkehr Aktive Generationen, Ankunftsrate und Burst-Verhalten
Performance Zeit bis zum ersten Token und akzeptable Abschlusszeit
Qualität Aufgaben, die das Modell korrekt ausführen muss
Andere Dienstleistungen Einbettungen, Reranking, Vektorsuche, APIs und Überwachung
Geschäftstätigkeit Aktualisierungsprozess, Wiederherstellungsanforderungen und Wachstumsreserve

Der Kontext umfasst Systemanweisungen, Chat-Verlauf, abgerufenen Text, Benutzereingaben und generierte Ausgaben. Eine kurze Frage kann eine lange Modelleingabe erzeugen, wenn die Anwendung mehrere Dokumente hinzufügt.

Auch Benutzer von aktiven Anfragen trennen. Ein Dienst mit 100 registrierten Benutzern kann nur wenige Generationen gleichzeitig ausführen. Ein Agent, der von einer Person verwendet wird, kann während einer einzelnen Aufgabe mehrere Anfragen ausgeben.

Eine Definition des Serving-Prozesses finden Sie unter Was KI-Inferenz bedeutet.

Halten Sie die Schlussfolgerung vom Training getrennt

Dieser Leitfaden behandelt die Inferenz: Verwenden eines bereits trainierten Modells, um eine Antwort zu erstellen. Das Training und die Feinabstimmung können je nach Methode zusätzlichen Speicher für Gradienten, Optimiererstatus und Aktivierungen erfordern.

Verwenden Sie keine Inferenzgrößentabelle als Trainingsempfehlung. Wenn derselbe Computer Benutzer bedienen und Feinabstimmungsaufträge ausführen muss, testen Sie den kombinierten Zeitplan oder trennen Sie diese Workloads.

Berechnen Sie zuerst den Modellgewichtsspeicher

Modellgewichte sind die während der Inferenz verwendeten numerischen Werte. Ihr Speicherfußabdruck bietet den Ausgangspunkt für ein Hardware-Budget.

Idealisierter Gewichtsspeicher in Bytes = Parameteranzahl × Bits pro Gewicht ÷ 8

Für ein nominelles 8-Milliarden-Parameter-Modell mit 16 Bit:

8.000.000.000 × 16 ÷ 8 = 16.000.000.000 Byte oder 16 GB

Bei einer idealisierten vier Bits pro Gewicht ergibt die gleiche Berechnung 4 GB.

Nennmodellgröße FP16 / BF16 Gewichtsboden 8-Bit-Gewichtsboden 4-Bit-Gewichtsboden
8b 16 GB 8 GB 4 GB
14b 28 GB 14 GB 7 GB
32b 64 GB 32 GB 16 GB
70b 140 GB 70 GB 35 GB

Diese Figuren decken nur idealisierte Gewichte ab. Sie schließen Anforderungs-Cache, Arbeitspuffer, Quantisierungsmetadaten und andere Laufzeitzuordnungen aus. Das genaue Modell kann auch mehr Parameter haben, als der abgerundete Name vermuten lässt.

Warum eine 4-Bit-Datei mehr als die Rohberechnung benötigt

Ein quantisiertes Artefakt kann Skalenwerte, Metadaten und Tensoren enthalten, die mit anderen Präzisionen gespeichert sind. Die heruntergeladene Größe und der geladene Speicherfußabdruck können unterschiedlich sein.

Zeichnen Sie das genaue Artefakt auf und überprüfen Sie dann den Speicher, nachdem Sie es in der vorgesehenen Laufzeit geladen haben. Behandeln Sie nicht jedes Format mit der Bezeichnung „4-Bit“ als austauschbar.

Das Reduzieren der Gewichtsgenauigkeit verringert nicht automatisch die Präzision des Anforderungs-Cache. Dies sind separate Einstellungen mit separater Kompatibilität und Qualitätsprüfungen.

Verwenden Sie die Gesamtparameter für die MOE-Gewichtsplanung

Ein Expertenmischungsmodell oder ein MOE-Modell aktiviert nur einen Teil seines Expertennetzwerks für jeden Token. Das kann die Berechnung im Vergleich zur Verwendung jedes Experten verringern, aber die anderen Gewichte benötigen noch einen Platzierungsplan.

Für die vollständige Residenz das Budget für das gespeicherte Modell, nicht nur für die Anzahl der aktiven Parameter. Das Expert-Offload und die verteilte Platzierung können sich ändern, wo der Speicher verwendet wird, sie führen jedoch ihre eigenen Übertragungs- und Ausführungskosten ein.

Halten Sie GB und GiB konsistent

Ein GB ist eine Milliarde Bytes. Ein GIB ist 1.073.741.824 Byte. Eine 4-GB-Nutzlast beträgt ungefähr 3,73 GiB.

Konvertieren Sie Werte in dieselbe Einheit, bevor Sie den Modellspeicher von einem Gerätebudget subtrahieren. Verwenden Sie den tatsächlichen verfügbaren Speicher, der für die Bereitstellung gemeldet wurde, anstatt ein Produktetikett mit einer anderen gemeldeten Messung zu mischen.

Fügen Sie KV-Cache, Kontextlänge und gleichzeitige Anforderungen hinzu

Der Schlüsselwert-Cache, der üblicherweise als KV-Cache, speichert die verwendeten Aufmerksamkeitsdaten, während das Modell Text generiert. Modellgewichte können über Anforderungen innerhalb einer Modellinstanz geteilt werden, aktive Sequenzen benötigen jedoch auch den Anforderungsstatus.

Aus diesem Grund können längere Kontexte und aktivere Anfragen Speicher verbrauchen, selbst wenn sich das geladene Modell nicht ändert.

Schätzen Sie für einen herkömmlichen Decoder mit dem gleichen vollen Aufmerksamkeitslayout in jeder Ebene die logische Cache-Nutzlast wie folgt ab:

kV-Bytes ≈ 2 × Ebenen × kV-Köpfe × Kopfdimension × Bytes pro zwischengespeicherter Wert × Gesamt zwischengespeicherte Token

Der Faktor zwei berücksichtigt Schlüssel und Werte. Total zwischengespeicherte Tokens bedeutet die Summe über aktive Sequenzen. Wenn alle Sequenzen die gleiche Länge haben, multiplizieren Sie diese Länge mit der Anzahl der aktiven Sequenzen.

Dies ist nicht für jedes Modell eine universelle Formel. Die Aufmerksamkeit des Schiebefensters, andere Cache-Architekturen, Cache-Quantisierung und Laufzeitzuweisungsregeln können die Berechnung ändern. Umarmen von Gesichtsdokumenten Cache-Strategien mit unterschiedlichem Speicherverhalten, einschließlich Grenzen für Schiebefenster und Chunked-Attention-Ebenen. 

A worked cache example

Meta’s Llama 3.1 8B configuration uses 32 layers, 32 attention heads, eight KV heads, and a hidden dimension of 4,096. The head dimension is 4,096 ÷ 32 = 128.

Nehmen Sie einen 2-Byte-KV-Cache, volle Aufmerksamkeit und keine Präfixfreigabe an:

2 × 32 × 8 × 128 × 2 = 131.072 Byte pro zwischengespeicherter Token pro Sequenz

Das entspricht 128 KiB. 

zwischengespeicherte Tokens pro Sequenz Aktive Sequenzen Berechnete logische KV-Nutzlast
8,192 1 1 Gib
8,192 4 4 Gib
32,768 4 16 Gib
32,768 8 32 Gib

Das Modell ist unverändert, fordert jedoch einen starken Speicherwechsel an. Aus diesem Grund kann das Hinzufügen eines festen Prozentsatzes zur Modellgröße nicht für jeden Kontext und jedes Parallelitätsziel berücksichtigt werden.

Dies sind berechnete Nutzlasten, nicht gemessene GPU-Zuordnungen. Eine Laufzeit kann Cache-Blöcke im Voraus reservieren oder Zuweisungen zur Wiederverwendung beibehalten. Der von einem Überwachungstool gemeldete Speicher kann daher von der Live-Token-Nutzlast abweichen.

Erstellen Sie ein vollständiges GPU-Speicherbudget

Beginnen Sie für eine vollständig GPU-residente Bereitstellung mit:

GPU-Speicherbudget = geladene Gewichte + kV-Zuordnung + Laufzeitarbeitsspeicher + Betriebsreserve

Verwenden Sie nach Möglichkeit gemessene Laufzeitwerte. Vermeiden Sie es, denselben reservierten Cache-Pool zweimal zu zählen.

Beispiel: Ein Short-Context-Assistent gegenüber einem gemeinsam genutzten Dienst

Das Folgende ist a Unterrichtsszenario, kein Atal-Benchmark. Angenommen:

  • Geladene quantisierte Gewichte: 5 GiB.
  • Andere Laufzeitarbeitsspeicher: 2 GiB.
  • Betriebsreserve: 2 GiB.
  • Cache-Layout aus dem obigen Beispiel von Llama 3.1 8b.
Speicherelement Kurzkontext-Assistent Shared Service mit längerem Kontext
Aktive Sequenzen 1 4
zwischengespeicherte Tokens pro Sequenz 8,192 32,768
Geladene Gewichte, angenommen 5 Gib 5 Gib
Logische KV-Nutzlast, berechnet 1 Gib 16 Gib
Anderes Arbeitsgedächtnis, angenommen 2 Gib 2 Gib
Reserve, angenommen 2 Gib 2 Gib
kombinierte Planungssumme 10 Gib 25 Gib

Unter diesen Annahmen löscht das erste Profil eine 16-GIB-Speicherbudgetprüfung. Der zweite überschreitet ein Budget von 24 GiB. Kein Ergebnis zeigt Durchsatz oder Reaktionszeit.

Die Reserve- und Overhead-Zahlen sind Eingaben für dieses Beispiel, keine allgemeinen Empfehlungen. Ersetzen Sie sie durch Messungen aus der genauen Laufzeit und den Einstellungen, bevor Sie die Hardware auswählen.

Was ist mit einem 70B-Modell?

Ein nominelles 70B-Modell hat eine idealisierte Vier-Bit-Gewichtsebene von 35 GB. Es kann nicht vollständig GPU-resident innerhalb von 24 GB verfügbaren Arbeitsspeicher sein, auch vor Cache und Overhead.

Zu den möglichen Pfaden gehören eine GPU mit größerem Speicher, unterstützte Multi-GPU-Platzierung, CPU-Offload oder ein kleineres Modell, das den Test in der Aufgabenqualität besteht. Ein 48-GB-Gerät ist keine pauschale Empfehlung für jede 70b-Workload. Kontext, aktive Anfragen, Format-Overhead und Laufzeitverhalten sind immer noch wichtig.

Wählen Sie GPU-Hardware nach mehr als VRAM

Genug Speicher ermöglicht eine Konfiguration. Es macht die Konfiguration nicht schnell genug.

Vergleichen Sie Kandidaten mit der gleichen Arbeitsbelastung:

Hardware-Check Was zu bestätigen
Verfügbarer VRAM Tatsächliche Zuordnung nach Partitionen und anderen Prozessen
Laufzeitunterstützung GPU-Architektur, Treiber-, Backend- und Modellunterstützung
Gewichts- und Cache-Formate Unterstützte Kernel und Speicherverhalten
Speicherbandbreite Leistung unter dem ausgewählten Modell- und Anforderungsmix
Verbinden Gerätetopologie für die gewählte Parallelmethode
Strom und Kühlung Dauerhafte Betriebsgrenzen im Server
Servicebedingungen Dedizierte oder gemeinsam genutzte Ressourcen, Support und Ersatzprozess

Vermeiden Sie es, eine GPU aus einer generischen Benutzer-pro-Kartentabelle auszuwählen. Zehn kurze Anfragen und zehn Long-Dokument-Anforderungen sind unterschiedliche Workloads.

Behalten Sie neben jeder Hardwareoption die Modellrevision, die Laufzeitversion, die Eingabeaufforderungs- / Ausgabelimits und das aktive Anforderungsziel bei. Ansonsten ist der Vergleich schwierig zu reproduzieren.

Größe System-RAM, CPU, Speicher und Netzwerk

System-RAM: Budget für das Laden und Hosten von Diensten

Der System-RAM unterstützt das Betriebssystem, das Laden von Modellen, APIs, Tokenisierung, Überwachung und alle CPU-residenten Modelle oder Cache-Status. Das Einbetten von Modellen, Rerankern und Vektordatenbanken erhöht die Nachfrage, wenn sie den Host gemeinsam nutzen.

Messen Sie den Spitzenspeicher während des Starts sowie den stationären Betrieb. Die Loading-Methode kann temporäre Kopien oder Puffer verwenden, die nach dem Start nicht vorhanden sind.

Es gibt kein einzelnes RAM-zu-VRAM-Verhältnis, das zu jedem Inferenzstapel passt. Erstellen Sie ein Host-Budget aus der ausgewählten Laufzeit, dem Offload-Plan und den unterstützenden Diensten. Ein Modell, das auf die GPU passt, kann beim Laden immer noch fehlschlagen, da der Host-Speicher nicht ausreicht.

CPU: Ordnen Sie die Kerne und die Speicherbandbreite an die Aufgabe an

Auf einem GPU-gestützten Server übernimmt die CPU weiterhin Anforderungsverarbeitung, Tokenisierung, Netzwerk und Anwendungsarbeit. CPU-only Inference macht auch die Prozessorausführung und das Verhalten des Systemspeichers für die Leistung von zentraler Bedeutung.

Testen Sie die beabsichtigte Threadzahl. Mehr Kerne führen nicht automatisch zu einer passenden Erhöhung der Token-Rate. Überprüfen Sie bei Multi-Socket-Systemen die Speicherlokalität und die Platzierung von GPUs und Netzwerkgeräten.

Ein dedizierter Server mit nur CPU kann ein Kandidat für Batch-Jobs, Experimente oder Niederfrequenzaufgaben sein. Ob es für den interaktiven Gebrauch geeignet ist, hängt vom Modell und der gemessenen Reaktionszeit ab.

NVMe-Speicher: Versionen und Wiederherstellung einschließen

Budgetspeicher für mehr als ein heruntergeladenes Modell:

Speicherbudget = aktive Modelldateien + Rollback-Dateien + Laufzeitartefakte + Anwendungsdaten + Protokolle + freier Arbeitsbereich

Fügen Sie Vektorindizes und Dokumentdaten hinzu, wenn der Abruf den Server freigibt. Betrachten Sie auch temporäre Downloads und Konvertierungsdateien.

Lokale NVMe können das Laden von Modellen und Verzögerungen beim Datenzugriff reduzieren. Es garantiert keine höhere Erzeugungsrate, nachdem alle erforderlichen Gewichte im Speicher gespeichert sind. Messen Sie die Kaltstartzeit getrennt von der Warm-Anforderungsleistung.

Vernetzung: Client-Traffic vom Modellverkehr trennen

Ein öffentlicher Netzwerkport verarbeitet Client-Verbindungen, Downloads und Übertragungen. GPU-zu-GPU-Verbindungen und das Netzwerk zwischen verteilten Inferenzknoten dienen unterschiedlichen Zwecken.

Verwenden Sie keine öffentliche 10-Gbit/s-Portspezifikation als Beweis für die Inferenzleistung mit mehreren Knoten. Überprüfen Sie die tatsächlichen Anforderungen an Topologie, Kommunikationsmethode und Laufzeit.

Messen Sie für Sprachanwendungen die volle Runde: Spracheingabe, Transkription, Modellantwort, Sprachgenerierung und -bereitstellung. Die LLM-Zeit zum ersten Token deckt nur einen Teil dieses Pfades ab.

Passen Sie das Laufzeit- und Multi-GPU-Design an die Workload an

Wählen Sie die Laufzeit, bevor Sie eine endgültige Hardwareentscheidung treffen. Es steuert die Modellunterstützung, Platzierung, Stapelung und Speicherverwaltung.

Laufzeit Nützlicher Bewertungspfad Überprüfen Sie, bevor Sie festlegen
Ollama Modellversuche und einfacher Serving-Workflow Hardware-Unterstützung, Kontext, parallele Anforderungen und geladene Modellgrenzen
lama.cpp GGUF-Modelle, CPU-Inferenz und partielle GPU-Ausladung Build/Backend, Artefakt-Unterstützung, ausgeladene Schichten und gemessene Geschwindigkeit
Vllm Batched Serving und unterstützte Multi-GPU-Bereitstellungen Modell-/Formatkompatibilität, Speichersteuerung, Topologie und Latenz unter Last

Ollama dokumentiert erhöhten Speicherbedarf mit parallelen Anforderungen und längerem Kontext. Lama.cpp unterstützt CPU/GPU-Hybrid-Inferenz. Dies sind Testoptionen, keine Garantien für eine bestimmte Token-Rate. 

Ein Modell teilen oder separate Replikate ausführen?

Das Teilen eines Modells auf GPUs kann helfen, wenn es nicht auf ein Gerät passt. Tensorparallelität teilt unterstützte Tensoroperationen; Die Pipeline-Parallelität teilt Modellstufen oder -schichten. MOE-Bereitstellungen können auch fachkundige Parallelität verwenden.

Repliken dienen einem anderen Zweck. Jede Kopie hat ihre eigenen Gewichte und kann einen separaten Satz von Anfragen verarbeiten. Replikate können die Bereitstellungskapazität hinzufügen, wenn eine Kopie bereits passt, aber sie kombinieren ihren Speicher nicht, um ein größeres Modell aufzunehmen.

Zwei GPUs werden nicht zu einem automatischen Speicherpool. Die Zuweisung, Kommunikation und Laufzeitunterstützung für Geräte pro Gerät schränkt das Layout immer noch ein. VLLM dokumentiert mehrere parallele Methoden und Topologieüberlegungen.

NVLink ist keine universelle Anforderung. Vergleichen Sie das tatsächlich unterstützte Layout und vergleichen Sie es. Weder das Hinzufügen einer zweiten GPU noch das Verdoppeln des gesamten VRAM garantiert den doppelten Nutzen.

Benchmark den Server vor der Produktion

Testen Sie das Anwendungsziel, nicht die höchste Zahl in einem Benchmark-Screenshot.

Metrisch Was es dir sagt
Zeit bis zum ersten Token oder TTFT Wie lange wartet der Client auf die anfängliche Modellausgabe?
Inter-Token-Latenz Wie reibungslos die Ausgabe nach dem Start der Generierung ankommt
Ausgaberate pro Anfrage Generierungsgeschwindigkeit, die von einer Anfrage erlebt wird
Gesamtausgaberate Gesamtausgabe über den Server
Abschlusszeit anfordern Wie lange dauert die vollständige Antwort?
Fehler und Warteschlangenwachstum ob die Nachfrage die Nutzkapazität übersteigt

Die Definitionen und Messgrenzen sind wichtig. Die Benchmark-Leitlinien von Nvidia unterscheiden Token-Raten auf Benutzerebene, Systemdurchsatz und Antwortlatenz. Behalten Sie die Definitionen des ausgewählten Werkzeugs mit den Ergebnissen bei. 

Verwenden Sie einen wiederholbaren Akzeptanztest

  1. Fixieren Sie die Konfiguration. Aufzeichnungsmodellrevision, Artefakt, Tokenizer, Laufzeit, Treiber, GPU, CPU, RAM, Speicher und Leistungsbegrenzungen.
  2. Testen Sie eine Anfrage. Messen Sie kaltes und warmes Verhalten mit repräsentativen Ein- und Ausgangslängen.
  3. Parallelität erhöhen. Überprüfen Sie normale und lange Anfragen auf mehreren aktiven Anforderungsstufen.
  4. Test Ankunft platzt. Senden Sie Anfragen mit der erwarteten Rate, damit Warteschlangen und Überlastungsverhalten sichtbar werden.
  5. Qualität prüfen. Wiederholen Sie Aufgabentests nach dem Ändern der Präzisions-, Kontext- oder Serving-Einstellungen.
  6. Notieren Sie die Passbedingungen. Schließen Sie Latenz, erfolgreichen Durchsatz, Speicher, Qualität und erforderliche Reserve ein.

Verwenden Sie mehrere gemessene Wiederholungen nach dem konsequenten Aufwärmen. Melden Sie Fehler, Stichprobenzählungen und die Verbreitung der Ergebnisse. Eine P99-Zahl, die auf zu wenigen Anfragen basiert, kann in die Irre geführt werden.

Wenn das Präfix-Caching aktiviert ist, testen Sie sowohl wiederholte als auch neue Präfixe. Wenn Sie die Maschine einbetten oder neu ranken, nehmen Sie sie in den Lasttest auf. Ein synthetisches kurzzeitiges Ergebnis kann keine Langdokumentkapazität feststellen.

Verwenden Sie aktuelle Tools und zeichnen Sie deren Versionen auf. In der aktuellen GEAI-Perf-Dokumentation von Nvidia heißt es, dass es auslaufen wird und neue Benchmarking-Arbeiten an AIPERF weiterleitet. 

Wenn Speicher die begrenzende Ressource ist

Identifizieren Sie zunächst, ob es sich um Modellladen, Cache-Reservierung, Kontextwachstum oder andere Dienste handelt. Dann ändern Sie einen Faktor und testen Sie erneut.

Zu den möglichen Optionen gehören ein kleineres Modell, ein unterstütztes quantisiertes Artefakt, kürzere Kontextgrenzen, weniger aktive Sequenzen oder ein anderer Platzierungsplan. Diese Optionen können die Qualität, die Warteschlange und den Durchsatz ändern.

VLLM dokumentiert Kontext-Länge und Sequenzbeschränkungen als Speichersteuerelemente und stellt fest, dass CUDA Graph Capture zusätzlichen GPU-Speicher verwendet. Einstellungen als Teil der gemessenen Konfiguration behandeln. 

Vergleichen Sie die Kosten für Selbsthosting mit APIs und Cloud-GPUs

Vergleichen Sie nur Konfigurationen, die die erforderliche Aufgabenqualität und Antwortzeit erfüllen. Ein billiger Server, der unbrauchbare Antworten liefert, ist keine Ersparnis.

Für einen gemieteten dedizierten Server sind:

  • Miet- und Einrichtungsgebühren über die geplante Laufzeit.
  • Speicher-, Übertragungs-, Software- und Supportgebühren.
  • Betriebsarbeit für Updates, Überwachung und Vorfälle.
  • Kapazität für Wartungs- oder Fehlerbehandlung erforderlich.

Fügen Sie keinen Strom hinzu, wenn die Mietgebühr bereits enthalten ist. Verwenden Sie für eigene Hardware ein separates Eigentümermodell für Kauf, Energie, Einrichtungen und Unterstützung.

Kosten pro akzeptierter Anfrage = Vollständige Kosten während eines Zeitraums ÷ Akzeptierte Anfragen in diesem Zeitraum

Zum Beispiel ergibt eine fiktive monatliche Gesamtkosten von 1 TP4T1.200 geteilt durch 600.000 akzeptierte Anfragen $0.002 pro akzeptierter Anfrage. Dies ist eine Unterrichtsberechnung, kein Atal-Angebot oder eine gemessene Servierkapazität.

Gehen Sie nicht davon aus, dass die Anforderung mit der gleichen Antwortzeit auf denselben Server passt. Die Kosten ändern sich, wenn sich die Kapazität, das Personal oder der Reservebedarf ändern.

Für API-Vergleiche, Preiseingabe-Token, Ausgabe-Token, Caching und andere abgerechnete Kategorien separat. Schließen Sie für Cloud-GPUs die Betriebszeiten, den angeschlossenen Speicher, die Übertragungen und die erforderlichen unterstützenden Dienste ein.

Es gibt kein universelles Token-Volumen, bei dem das Selbst-Hosting billiger wird. Auslastung, Modellqualität, Anforderungslänge, Hardware und Betriebsverantwortung bestimmen das Ergebnis.

Überprüfen Sie die Bereitstellungslimits vor der Bestellung

Hardware-Fit ist ein Teil der Bereitschaft. Bestätigen Sie die genaue Modelllizenz und die zulässige Nutzung. Überprüfen Sie die Treiber-, Laufzeit- und Artefaktkompatibilität.

Steuern Sie den Zugriff auf den Inferenzendpunkt. Legen Sie die Anforderungen an die Größe, Ausgabe, Warteschlange und Rate fest. Definieren Sie Protokollierungs- und Aufbewahrungsregeln. Überprüfen Sie ausgehende Verbindungen, externe Einbettungen, Tools und Fallback-APIs, wenn die Daten innerhalb einer bestimmten Grenze bleiben müssen.

Ein gemieteter dedizierter Server wird nicht automatisch vor Ort oder in der Luft gegappt. Durch das Selbst-Hosting haben Sie die Kontrolle über die Bereitstellungsoptionen. Es beweist nicht, dass jede Eingabeaufforderung unter jeder Konfiguration privat bleibt.

Planen Sie Modellaktualisierungen, Rollback-Dateien, Überwachung und Wiederherstellung. Wenn der Service während eines Hostfehlers fortgesetzt werden muss, benötigt die Architektur eine freie Kapazität außerhalb dieses Hosts. Mehrere GPUs in einem Server stellen keinen zweiten Host bereit.

Häufig gestellte Fragen

Kann ich einen LLM ohne GPU selbst hosten?

Ja. Unterstützte Laufzeiten können Modelle auf CPUs ausführen, und einige können die Arbeit zwischen CPU und GPU aufteilen. Beginnen Sie mit einem Modell und einem Format, das dem System-RAM entspricht, und testen Sie dann die Reaktionszeit. Nur CPU-Inferenz kann Batch- oder niederfrequente Aufgaben erfüllen, aber die interaktive Eignung muss gemessen werden.

Reichen 24 GB VRAM für einen LLM-Server aus?

Dies hängt vom Artefakt, dem Kontext, den aktiven Anforderungen und der Laufzeit ab. Einige kompakte quantisierte Modelle passen möglicherweise, aber die Memory Fit stellt keine Produktionskapazität fest. Allein die idealisierten Vier-Bit-Gewichte eines nominellen 70B-Modells erfordern 35 GB, was 24 GB des verfügbaren VRAM überschreitet.

Wie viel Speicher benötigt ein 70B-Modell?

Die idealisierten Stockwerke sind 140 GB bei 16 Bit, 70 GB bei acht Bit und 35 GB bei vier Bits. Fügen Sie Format-Overhead, Cache, Arbeitsspeicher und Reservierung hinzu. Die Platzierung über GPU und Hostspeicher hängt von der Laufzeit ab.

Können zwei 24-GB-GPUs eine größere GPU ersetzen?

Manchmal, wenn das Modell und die Laufzeit eine geeignete Aufteilung unterstützen. Sie entsprechen nicht automatisch einem größeren Gerät. Kommunikation, Pro-Geräte-Overhead, Cache-Platzierung und Servertopologie wirken sich auf Anpassung und Geschwindigkeit aus.

Warum lädt das Modell aber mit mehreren Anfragen?

Das Laden prüft, ob die anfängliche Modellzuordnung passt. Zusätzliche Anfragen können den Cache- und Arbeitsspeicherbedarf erhöhen. Messen Sie den genauen Fehlerpunkt und überprüfen Sie den Kontext, die aktiven Sequenzgrenzen und andere geladene Dienste, bevor Sie die Hardware ändern.

Wie viel System-RAM benötigt ein Inferenzserver?

Budget für Startspitzen, das Betriebssystem, die Laufzeit, API-Dienste, die CPU-Offload und alle Abrufkomponenten. Messen Sie sowohl das Laden als auch den stationären Betrieb. Es gibt keine feste System-RAM-Anforderung, die allein aus der Parameterzählung oder dem GPU-Speicher folgt.

Ist ein dedizierter Server billiger als eine API?

Es kann sein, aber vergleichen Sie die vollständigen Kosten bei gleicher Aufgabenqualität und Reaktionszeit. Geringe oder unregelmäßige Nachfrage kann gemietete Hardware im Leerlauf lassen. Eine nachhaltige Nachfrage kann die Auslastung verbessern, vorausgesetzt, der ausgewählte Server kann dies innerhalb des Serviceziels verarbeiten.

Empfohlene nächste Schritte

Wählen Sie Hardware aus einem dokumentierten Anforderungsprofil, nicht nur die Parameteranzahl. Berechnen Sie Gewichte und Cache getrennt, fügen Sie das volle Serverbudget hinzu und testen Sie die verbleibenden Konfigurationen.

Vor dem Begehen:

  1. Korrigieren Sie die Modellrevision, das Artefakt, den Kontext und das aktive Anforderungsziel.
  2. Berechnen Sie das Speicherbudget mit konsistenten Einheiten.
  3. Bestätigen Sie die Laufzeitunterstützung und die Platzierung pro Gerät.
  4. Testen Sie Latenz, Durchsatz, Qualität und Ausfallverhalten.
  5. Vergleichen Sie vollständige Kosten im selben Zeitraum.

Um eine geeignete Konfiguration zu diskutieren, überprüfen Sie Atal Networks Dedicated Server und teilen Sie Ihr Modell, Anforderungsprofil, Speicherschätzung, Standort und Softwareanforderungen. Bestätigen Sie die GPU-Verfügbarkeit und unterstützte Optionen für das jeweilige Angebot vor der Bestellung.

Quellen und Berechnungshinweise

Die Quellen wurden am 28. Oktober 2026 überprüft. Modellkonfigurationen, Laufzeitunterstützung und Softwareverhalten können sich ändern. Zeichnen Sie daher die für eine Bereitstellung verwendete Version auf.

Gewichtstabellen verwenden idealisierte Bitanzahl und Dezimal-GB. KV-Cache-Zahlen verwenden binäres GIB und die angegebenen Annahmen zur vollständigen Aufmerksamkeit. Die 5-Gib-Gewichtszuweisung, 2 GiB-Arbeitsspeicher-Input, 2 GiB-Reserve und Dollar-Beispiel sind fiktive Unterrichtseingänge. Es handelt sich nicht um Atal-Messungen, Preise oder Kapazitätsansprüche.

Nach oben scrollen