Om een LLM zelf te hosten op een dedicated server, moet u de hardware voor het model, contextlengte, actieve verzoeken en responstijddoel formaat. Budget voor modelgewichten, verzoekgeheugen, runtime-overhead, systeem-RAM, CPU-werk en opslag. Een model dat met succes laadt, heeft een geheugencontrole doorstaan, geen test voor productiecapaciteit.
De kloof wordt duidelijk tijdens een druk uur. Een kort verzoek werkt. Verschillende gebruikers dienen lange documenten in, de aanvraagwachtrij groeit en dezelfde server heeft geen geheugen meer of duurt te lang om te reageren.
Vermijd dat probleem door in deze volgorde te plannen:
- Definieer het exacte model en het aanvraagprofiel.
- Bereken het gewichtsgeheugen en het cachegeheugen afzonderlijk.
- Budget voor de complete server en ondersteunende services.
- Test realistisch verkeer tegen responstijd en kwaliteitsdoelen.
- Vergelijk de volledige kosten voor de configuraties die doorgeven.
Begin met het model en vraagprofiel
Servergrootte begint met wat de applicatie moet doen. "Run een LLM voor ons team" is te breed om een nuttige hardwareaanbeveling te produceren.
Neem deze ingangen op voordat u servers vergelijkt:
| Invoer | Wat op te nemen? |
|---|---|
| Model- | Exacte naam, revisie, architectuur en licentie |
| Gewicht formaat | FP16, BF16 of het specifieke gekwantiseerde artefact |
| Verband | Normale en maximale prompt-plus-output-tokentellingen |
| Verkeer | Actieve generaties, aankomstsnelheid en burst-gedrag |
| Prestatie | Tijd tot eerste token en acceptabele doorlooptijd |
| Kwaliteit | Taken die het model correct moet voltooien |
| Andere diensten | Inbeddingen, herschikking, vector zoeken, API's en monitoring |
| Verrichtingen | Update proces, herstelbehoeften en groeireserve |
Context omvat systeeminstructies, chatgeschiedenis, opgehaalde tekst, gebruikersinvoer en gegenereerde uitvoer. Een korte vraag kan een lange modelinvoer opleveren als de applicatie meerdere documenten toevoegt.
Scheid gebruikers ook van actieve verzoeken. Een service met 100 geregistreerde gebruikers heeft mogelijk maar een paar generaties tegelijk. Een agent die door één persoon wordt gebruikt, kan tijdens een enkele taak meerdere verzoeken afgeven.
Voor een definitie van het servingproces, zie Wat AI-inferentie betekent.
Houd gevolge van training gescheiden houden
Deze gids behandelt gevolgtrekking: een reeds getraind model gebruiken om een antwoord te produceren. Training en fijnafstemming kunnen extra geheugen vereisen voor gradiënten, optimalisatiestatus en activeringen, afhankelijk van de methode.
Gebruik een inferentiemaattabel niet als trainingsaanbeveling. Als dezelfde machine gebruikers van dienst moet zijn en finetuningtaken moet uitvoeren, test dan het gecombineerde schema of scheid die workloads.
Bereken eerst het modelgewichtgeheugen
Modelgewichten zijn de opgeslagen numerieke waarden die worden gebruikt tijdens inferentie. Hun geheugenvoetafdruk vormt het startpunt voor een hardwarebudget.
Geïdealiseerd gewichtsgeheugen in bytes = parameteraantal × bits per gewicht ÷ 8
Voor een nominaal model van acht miljard parameters op 16 bits:
8.000.000.000 × 16 ÷ 8 = 16.000.000.000 bytes, of 16 GB
Bij een geïdealiseerde vier bits per gewicht geeft dezelfde berekening 4 GB.
| Nominale modelgrootte | FP16/BF16 Gewicht vloer | 8-bits gewicht vloer | 4-bits gewicht vloer |
|---|---|---|---|
| 8b | 16 GB | 8 GB | 4 GB |
| 14b | 28 GB | 14 GB | 7 GB |
| 32b | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
Deze figuren dekken alleen geïdealiseerde gewichten. Ze sluiten verzoekcache, werkbuffers, kwantisatiemetadata en andere runtime-toewijzingen uit. Het exacte model kan ook meer parameters hebben dan de afgeronde naam doet vermoeden.
Waarom een 4-bits bestand meer nodig heeft dan de onbewerkte berekening
Een gekwantiseerd artefact kan schaalwaarden, metadata en tensoren bevatten die op andere precisie zijn opgeslagen. Het gedownloade formaat en de geladen geheugenvoetafdruk kunnen verschillen.
Noteer het exacte artefact en inspecteer het geheugen nadat u het in de beoogde runtime hebt geladen. Behandel niet elk formaat met het label "4-bit" als uitwisselbaar.
Het verminderen van de precisie van het gewicht vermindert ook niet automatisch de precisie van de aanvraagcache. Dat zijn afzonderlijke instellingen met afzonderlijke compatibiliteit en kwaliteitscontroles.
Gebruik totale parameters voor MOE gewichtsplanning
Een mix-of-experts-model, of MOE-model, activeert slechts een deel van zijn expertnetwerk voor elk token. Dat kan de berekening verminderen ten opzichte van het gebruik van elke expert, maar de andere gewichten hebben nog steeds een plaatsingsplan nodig.
Voor een volledige ingezetenschap, budget voor het opgeslagen model, niet alleen het aantal actieve parameters. Expert offload en gedistribueerde plaatsing kunnen veranderen waar het geheugen wordt gebruikt, maar ze introduceren hun eigen overdrachts- en uitvoeringskosten.
Houd GB en GIB consistent
Eén GB is een miljard bytes. Eén GIB is 1.073.741.824 bytes. Een payload van 4 GB is ongeveer 3,73 gib.
Converteer waarden naar dezelfde eenheid voordat u het modelgeheugen aftrekt van een apparaatbudget. Gebruik het werkelijk beschikbare geheugen dat voor de implementatie is gerapporteerd in plaats van een productlabel te mengen met een anders gerapporteerde meting.
Voeg KV-cache, contextlengte en gelijktijdige verzoeken toe
de sleutelwaardecache, meestal de KV-cache, slaat aandachtsgegevens op die worden gebruikt terwijl het model tekst genereert. Modelgewichten kunnen worden gedeeld tussen verzoeken binnen één modelinstantie, maar actieve reeksen hebben ook een verzoekstatus nodig.
Daarom kunnen langere contexten en actievere verzoeken geheugen verbruiken, zelfs als het geladen model niet verandert.
Voor een conventionele decoder met dezelfde lay-out met volledige aandacht in elke laag, schat u de logische cache-payload als:
KV-bytes ≈ 2 × lagen × kV-koppen × kopdimensie × bytes per cachewaarde × totale cache-tokens
De factor van twee is goed voor sleutels en waarden. Totaal gecacheteerde tokens betekent de som over actieve reeksen. Als alle sequenties dezelfde lengte hebben, vermenigvuldig die lengte dan met het aantal actieve reeksen.
Dit is niet een universele formule voor elk model. Aandacht voor schuifvensters, andere cache-architecturen, cache-kwantisering en runtime-toewijzingsregels kunnen de berekening veranderen. Hugging Face documenteert cachestrategieën met verschillend geheugengedrag, inclusief limieten voor lagen voor schuifvensters en chunked-aandacht.
Een bewerkt cachevoorbeeld
Meta’s Llama 3.1 8B configuration uses 32 layers, 32 attention heads, eight KV heads, and a hidden dimension of 4,096. The head dimension is 4,096 ÷ 32 = 128.
Ga uit van een twee-byte KV-cache, volledige aandacht en geen voorvoegsel delen:
2 × 32 × 8 × 128 × 2 = 131.072 bytes per cache-token per reeks
Dat is gelijk aan 128 KIB.
| Gecachte tokens per reeks | Actieve sequenties | Berekend logisch KV-payload |
|---|---|---|
| 8,192 | 1 | 1 gib |
| 8,192 | 4 | 4 Gib |
| 32,768 | 4 | 16 Gib |
| 32,768 | 8 | 32 Gib |
Het model is ongewijzigd, maar verzoekgeheugen verandert scherp. Dit is de reden waarom het toevoegen van een vast percentage aan de modelgrootte geen rekening kan houden met elke context- en gelijktijdigheidsdoel.
Dit zijn berekende payloads, geen gemeten GPU-toewijzingen. Een runtime kan van tevoren cacheblokken reserveren of toewijzingen behouden voor hergebruik. Geheugen gerapporteerd door een monitoringtool kan daarom afwijken van de payload van live tokens.
Bouw een compleet GPU-geheugenbudget op
Begin voor een volledig GPU-ingezetene-implementatie met:
GPU-geheugenbudget = geladen gewichten + KV-toewijzing + runtime-werkgeheugen + reserve operationeel
Gebruik waar mogelijk gemeten runtime-waarden. Vermijd het tellen van dezelfde gereserveerde cachepool twee keer.
Voorbeeld: een korte-contextassistent versus een gedeelde service
Het volgende is een leerscenario, geen Atal-benchmark. Stel:
- Geladen gekwantiseerde gewichten: 5 gib.
- Ander runtime-werkgeheugen: 2 gib.
- Operationele reserve: 2 GIB.
- Cachelay-out uit het voorbeeld van de Llama 3.1 8b hierboven.
| Geheugenartikel | Assistent voor korte context | Gedeelde service met langere context |
|---|---|---|
| Actieve sequenties | 1 | 4 |
| Gecachte tokens per reeks | 8,192 | 32,768 |
| Geladen gewichten, verondersteld | 5 Gib | 5 Gib |
| Logisch KV laadvermogen, berekend | 1 gib | 16 Gib |
| ander werkgeheugen, verondersteld | 2 Gib | 2 Gib |
| reserve, verondersteld | 2 Gib | 2 Gib |
| Gecombineerd totaalplan | 10 Gib | 25 GIB |
Onder deze aannames wist het eerste profiel een 16 GIB-geheugenbudgetcontrole. De tweede overschrijdt een budget van 24 GIB. Geen van beide resultaten bewijst doorvoer of responstijd.
De reserve- en overheadcijfers zijn inputs voor dit voorbeeld, geen algemene aanbevelingen. Vervang ze door metingen uit de exacte runtime en instellingen voordat u hardware selecteert.
Hoe zit het met een 70B-model?
Een nominaal 70B-model heeft een geïdealiseerde vier-bits gewichtsvloer van 35 GB. Het kan niet volledig GPU-resident zijn binnen 24 GB van het beschikbare geheugen, zelfs vóór cache en overhead.
Mogelijke paden zijn onder meer een GPU met een groter geheugen, ondersteunde multi-GPU-plaatsing, CPU-offload of een kleiner model dat de taakkwaliteitstest doorstaat. Een apparaat van 48 GB is geen algemene aanbeveling voor elke 70B-werklast. Context, actieve verzoeken, indelingsoverhead en runtime-gedrag zijn nog steeds van belang.
Kies GPU-hardware door meer dan VRAM
Voldoende geheugen maakt een configuratie mogelijk. Het maakt de configuratie niet snel genoeg.
Vergelijk kandidaten met dezelfde werklast:
| Hardwarecontrole | Wat te bevestigen? |
|---|---|
| Beschikbaar VRAM | Werkelijke toewijzing na partities en andere processen |
| Runtime-ondersteuning | GPU-architectuur, driver-, backend- en modelondersteuning |
| Gewichts- en cacheformaten | Ondersteunde kernels en geheugengedrag |
| Geheugenbandbreedte | Prestaties onder het geselecteerde model en verzoekmix |
| Binden | Apparaattopologie voor de gekozen parallelle methode |
| Stroom en koeling | Aanhoudende operationele limieten in de server |
| Servicevoorwaarden | Toegewijde of gedeelde bronnen, ondersteuning en vervangingsproces |
Vermijd het selecteren van een GPU uit een generieke gebruikers-per-kaart tabel. Tien korte verzoeken en tien lange-documentverzoeken zijn verschillende workloads.
Bewaar de revisie van het modelrevisie op de shortlist, de runtime-versie, de limieten voor prompt-/uitvoer en het doel voor actief verzoek naast elke hardwareoptie. Anders is de vergelijking moeilijk te reproduceren.
Groottesysteem RAM, CPU, opslag en netwerken
Systeem-RAM: budget voor laad- en hostservices
Systeem-RAM ondersteunt het besturingssysteem, modellading, API's, tokenisatie, bewaking en elk CPU-resident model of cachestatus. Inbeddingsmodellen, rerankers en vectordatabases voegen verdere vraag toe als ze de host delen.
Meet piek-RAM tijdens het opstarten en stabiele werking. De laadmethode kan tijdelijke kopieën of buffers gebruiken die afwezig zijn na het opstarten.
Er is geen enkele RAM-tot-VRAM-verhouding die past bij elke inferentiestack. Bouw een hostbudget op van het geselecteerde runtime-, offloadplan- en ondersteunende services. Een model dat op de GPU past, kan nog steeds falen tijdens het laden omdat het hostgeheugen onvoldoende is.
CPU: match cores en geheugenbandbreedte met de taak
Op een door GPU ondersteunde server verzorgt de CPU nog steeds verzoekverwerking, tokenisatie, netwerken en applicatiewerk. Alleen CPU-inferentie maakt processoruitvoering en systeemgeheugengedrag ook centraal in prestaties.
Test de beoogde draadtelling. Meer cores produceren niet automatisch een overeenkomende verhoging van het tokenpercentage. Voor multi-socketsystemen, inspecteer de geheugenplaats en de plaatsing van GPU's en netwerkapparaten.
Een dedicated server die alleen op CPU's is, kan een kandidaat zijn voor batchtaken, experimenten of taken met een lage frequentie. Of het geschikt is voor interactief gebruik, hangt af van het model en de gemeten responstijd.
NVMe-opslag: inclusief versies en herstel
Budgetopslag voor meer dan één gedownload model:
Opslagbudget = Actieve modelbestanden + rollback-bestanden + runtime-artefacten + applicatiegegevens + bewaarde logs + vrije werkruimte
Voeg vectorindexen en documentgegevens toe wanneer het ophalen de server deelt. Overweeg ook tijdelijke downloads en conversiebestanden.
Lokale NVMe kan modellading en vertragingen bij gegevenstoegang verminderen. Het garandeert geen hogere generatiesnelheid nadat alle vereiste gewichten in het geheugen aanwezig zijn. Meet de koude starttijd apart van de prestaties van warme verzoeken.
Netwerken: scheiden clientverkeer van modelverkeer
Een openbare netwerkpoort behandelt clientverbindingen, downloads en overdrachten. GPU-naar-GPU-links en het netwerk tussen gedistribueerde inferentieknooppunten dienen verschillende doelen.
Gebruik geen openbare 10 Gbps-poortspecificatie als bewijs van prestaties met meerdere knooppunten. Controleer de werkelijke topologie, communicatiemethode en runtime-vereisten.
Meet voor spraaktoepassingen de volledige beurt: spraakinvoer, transcriptie, modelrespons, spraakgeneratie en levering. LLM-tijd tot het eerste token beslaat slechts een deel van dat pad.
Stem het ontwerp van de runtime en het multi-GPU af op de werkbelasting
Kies de runtime voordat u een definitieve hardwarebeslissing neemt. Het regelt modelondersteuning, plaatsing, batching en geheugenbeheer.
| runtime | Handig evaluatiepad | Controleer voordat u zich pleegt |
|---|---|---|
| oliepil | Modelproeven en een eenvoudigere server-workflow | Hardwareondersteuning, context, parallelle verzoeken en limieten voor geladen model |
| lama.cpp | GGUF-modellen, CPU-inferentie en gedeeltelijke GPU-offload | Build/Backend, artefactondersteuning, gelost lagen en gemeten snelheid |
| vllm | Batched serving en ondersteunde multi-GPU-implementaties | Model-/formaatcompatibiliteit, geheugenbesturing, topologie en latentie onder belasting |
Ollama documenteert verhoogde geheugenbehoeften met parallelle verzoeken en langere context. lama.cpp ondersteunt CPU/GPU hybride inferentie. Dit zijn opties om te testen, geen garanties voor een specifiek tokentarief.
Eén model splitsen of afzonderlijke replica's uitvoeren?
Het splitsen van een model over GPU's kan helpen als het niet op één apparaat past. Tensor parallellisme verdeelt ondersteunde tensoroperaties; Pipeline parallellisme verdeelt modelstadia of lagen. MOE-implementaties kunnen ook deskundige parallellisme gebruiken.
Replica's dienen een ander doel. Elke kopie heeft zijn eigen gewichten en kan een afzonderlijke reeks verzoeken afhandelen. Replica's kunnen servercapaciteit toevoegen wanneer één exemplaar al past, maar ze combineren hun geheugen niet om één groter model vast te houden.
Twee GPU's worden niet één automatische geheugenpool. Toewijzing per apparaat, communicatie en runtime-ondersteuning beperken de lay-out nog steeds. VLLM documenteert meerdere parallelle methoden en topologieoverwegingen.
NVLink is geen universele vereiste. Vergelijk de daadwerkelijke ondersteunde lay-out en benchmark deze. Noch het toevoegen van een tweede GPU, noch het verdubbelen van het totale VRAM garandeert twee keer de nuttige doorvoer.
Benchmark de server vóór productie
Test het toepassingsdoel, niet het hoogste aantal in een benchmark-screenshot.
| Metrisch | Wat het je vertelt |
|---|---|
| Tijd tot eerste token of TTFT | hoe lang de client wacht op de initiële modeluitvoer |
| Inter-Token latentie | Hoe soepel de output arriveert nadat de generatie begint |
| Uitvoersnelheid per verzoek | Generatiesnelheid ervaren door één verzoek |
| Aggregate output rate | Totale uitvoer over de server |
| Verzoek doorlooptijd | Hoe lang duurt de volledige reactie? |
| Fouten en wachtrijgroei | Of de vraag groter is dan de bruikbare capaciteit |
De definities en meetgrenzen zijn van belang. Nvidia's benchmarkrichtlijnen onderscheiden tokensnelheden op gebruikersniveau, systeemdoorvoer en latentie van respons. Houd de definities van de geselecteerde tool bij de resultaten.
Gebruik een herhaalbare acceptatietest
- Bevestig de configuratie. Record Model Revisie, Artifact, Tokenizer, Runtime, Driver, GPU, CPU, RAM, opslag en stroomlimieten.
- Test één verzoek. Meet koud en warm gedrag met representatieve input- en outputlengtes.
- gelijktijdigheid vergroten. Controleer normale en lange verzoeken op verschillende niveaus voor actief verzoeken.
- Test aankomst barsten. Verstuur verzoeken tegen de verwachte snelheid, zodat wachtrijen en overbelastingsgedrag zichtbaar worden.
- Controleer de kwaliteit. Herhaal taaktests na het wijzigen van de precisie-, context- of serveerinstellingen.
- Noteer de pasvoorwaarden. Neem latentie, succesvolle doorvoer, geheugen, kwaliteit en vereiste reserve.
Gebruik verschillende gemeten herhalingen na consistente warming-up. Rapporteer mislukkingen, steekproeftellingen en de spreiding van de resultaten. Een P99-cijfer op basis van te weinig verzoeken kan misleiden.
Als prefix caching is ingeschakeld, test dan zowel herhaalde als nieuwe voorvoegsels. Als u de machine insluit of opnieuw rangschikt, neemt u deze op in de belastingstest. Een synthetisch kort-prompt resultaat kan geen lange-documentcapaciteit vaststellen.
Gebruik de huidige tools en neem hun versies op. Nvidia's huidige Genai-Perf-documentatie zegt dat het wordt uitgefaseerd en stuurt nieuw benchmarkingwerk aan AIPERF.
Wanneer geheugen de beperkende bron is
Bepaal eerst of het probleem modellading, cachereservering, contextgroei of andere services is. Verander dan één factor en test opnieuw.
Mogelijke opties zijn onder meer een kleiner model, een ondersteund gekwantiseerd artefact, kortere contextlimieten, minder actieve reeksen of een ander plaatsingsplan. Deze keuzes kunnen de kwaliteit, wachtrijen en doorvoer veranderen.
VLLM documenteert contextlengte en sequentielimieten als geheugenbesturing, en merkt op dat CUDA Graph Capture extra GPU-geheugen gebruikt. Behandel instellingen als onderdeel van de gemeten configuratie.
Vergelijk zelfhostingkosten met API's en cloud-GPU's
Vergelijk alleen configuraties die voldoen aan de vereiste taakkwaliteit en responstijd. Een goedkope server die onbruikbare antwoorden produceert, is geen besparing.
Voor een gehuurde dedicated server, omvatten:
- Huur- en setupkosten over de geplande termijn.
- Opslag-, overdracht-, software- en ondersteuningskosten.
- Werkzaamheden voor updates, monitoring en incidenten.
- capaciteit die nodig is voor onderhoud of storingsafhandeling.
Voeg geen stroom opnieuw toe als de huurprijs het al bevat. Gebruik voor hardware in eigendom een afzonderlijk eigendomsmodel voor aankoop, energie, faciliteiten en ondersteuning.
Kosten per geaccepteerd verzoek = volledige kosten gedurende een periode ÷ geaccepteerde verzoeken gedurende die periode
Een fictieve volledige maandelijkse kost van $1.200 gedeeld door 600.000 geaccepteerde verzoeken geeft bijvoorbeeld $0.002 per geaccepteerd verzoek. Dit is een onderwijsberekening, geen Atal-offerte of gemeten serveercapaciteit.
Ga er niet vanuit dat tien keer de vraag op dezelfde server past op dezelfde responstijd. De kosten veranderen wanneer capaciteit, personeel of reservebehoeften veranderen.
Voor API-vergelijkingen, prijsinvoertokens, uitvoertokens, caching en andere gefactureerde categorieën afzonderlijk. Voor cloud-GPU's, inclusief bedrijfsuren, aangesloten opslag, transfers en vereiste ondersteunende services.
Er is geen universeel tokenvolume waarbij zelfhosting goedkoper wordt. Gebruik, modelkwaliteit, verzoeklengte, hardware en operationele verantwoordelijkheid bepalen het resultaat.
Controleer de implementatielimieten voordat u bestelt
Hardware fit is een onderdeel van gereedheid. Bevestig de exacte modellicentie en toegestane gebruik. Controleer de compatibiliteit van het stuurprogramma voor stuurprogramma's, runtime en artefacten.
controleer de toegang tot het inferentie-eindpunt. Stel verzoekgrootte, uitvoer, wachtrij en snelheidslimieten in. Definieer log- en bewaarregels. Bekijk uitgaande verbindingen, externe inbeddingen, tools en fallback-API's als gegevens binnen een specifieke grens moeten blijven.
Een gehuurde dedicated server is niet automatisch op het terrein of luchtgat. Zelfhosting geeft u controle over implementatiekeuzes; Het bewijst niet dat elke prompt onder elke configuratie privé blijft.
Plan modelupdates, rollback-bestanden, monitoring en herstel. Als de service moet doorgaan tijdens een hostfout, heeft de architectuur reservecapaciteit nodig buiten die host. Meerdere GPU's binnen één server bieden geen tweede host.
Veel gestelde vragen
Kan ik zelf een LLM hosten zonder een GPU?
Ja. Ondersteunde runtimes kunnen modellen op CPU's uitvoeren en sommige kunnen het werk tussen CPU en GPU verdelen. Begin met een model en formaat dat past bij het systeem-RAM en test vervolgens de responstijd. Alleen CPU-inferentie kan geschikt zijn voor batch- of laagfrequente taken, maar interactieve geschiktheid moet worden gemeten.
Is 24 GB VRAM genoeg voor een LLM-server?
Het hangt af van het artefact, de context, de actieve verzoeken en de runtime. Verschillende compacte gekwantiseerde modellen passen mogelijk, maar geheugenpassing vestigt geen productiecapaciteit. De geïdealiseerde vier-bits gewichten van een nominaal 70B-model alleen al vereisen 35 GB, wat meer dan 24 GB beschikbaar is voor VRAM.
Hoeveel geheugen heeft een 70b-model nodig?
De geïdealiseerde gewichtsvloeren zijn 140 GB met 16 bits, 70 GB bij acht bits en 35 GB bij vier bits. Voeg indelingsoverhead, cache, werkgeheugen en reserve toe. Plaatsing in GPU en hostgeheugen is afhankelijk van de runtime.
Kunnen twee GPU's van 24 GB één grotere GPU vervangen?
Soms, als het model en de runtime een geschikte splitsing ondersteunen. Ze zijn niet automatisch gelijk aan één groter apparaat. Communicatie, overhead per apparaat, cacheplaatsing en servertopologie beïnvloeden zowel pasvorm als snelheid.
Waarom laadt het model maar faalt met verschillende verzoeken?
Laden controleert of de initiële modeltoewijzing past. Aanvullende verzoeken kunnen de cache en de vraag naar werkgeheugen vergroten. Meet het exacte storingspunt en controleer de context, limieten voor actieve sequenties en andere geladen services voordat u de hardware wijzigt.
Hoeveel systeem-RAM heeft een inferentieserver nodig?
Budget voor opstartpieken, het besturingssysteem, runtime, API-services, CPU-offload en eventuele ophaalcomponenten. Meet zowel de belasting als de stabiele werking. Er is geen vaste systeem-RAM-vereiste die volgt uit het aantal parameters of alleen GPU-geheugen.
Is een dedicated server goedkoper dan een API?
Het kan zijn, maar vergelijk de volledige kosten met een gelijkwaardige taakkwaliteit en responstijd. Een lage of onregelmatige vraag kan gehuurde hardware inactief laten. Aanhoudende vraag kan het gebruik verbeteren, op voorwaarde dat de geselecteerde server dit binnen het servicedoel kan afhandelen.
Aanbevolen volgende stappen
Kies hardware uit een gedocumenteerd verzoekprofiel, niet alleen het aantal parameters. Bereken gewichten en cache afzonderlijk, voeg het volledige serverbudget toe en test de configuraties die overblijven.
Voordat u zich inzet:
- Herstel de modelrevisie, artefact, context en Active-Request-doel.
- Bereken het geheugenbudget met behulp van consistente eenheden.
- Bevestig runtime-ondersteuning en plaatsing per apparaat.
- Test latentie, doorvoer, kwaliteit en faalgedrag.
- Vergelijk de volledige kosten over dezelfde periode.
Om een geschikte configuratie te bespreken, bekijkt u Atal Networks dedicated servers en deel uw model, verzoekprofiel, geheugenschatting, locatie en softwarevereisten. Bevestig de beschikbaarheid van de GPU en de ondersteunde opties voor de specifieke aanbieding voordat u bestelt.
Bronnen en berekeningen
Bronnen werden gecontroleerd op 28 oktober 2026. Modelconfiguraties, runtime-ondersteuning en softwaregedrag kunnen veranderen, dus noteer de versie die voor een implementatie wordt gebruikt.
- Meta Llama-modelconfiguraties.
- Knuffelen van gezichtscache-strategieën.
- VLLM-geheugenbesturing.
- VLLM parallellisme en schaalvergroting.
- Ollama FAQ.
- Lama.CPP-project.
- Nvidia Inferentie Benchmarking Concepten.
- Nvidia benchmark-tool-status.
Gewichtstabellen gebruiken geïdealiseerde bittellingen en decimale GB. KV-Cache-cijfers gebruiken binaire GIB en de vermelde aannames voor volledige aandacht. De 5 GIB-gewichtstoewijzing, 2 GIB-werkgeheugeninput, 2 GIB-reserve en dollarvoorbeeld zijn fictieve onderwijsinputs. Het zijn geen Atal-metingen, prijzen of capaciteitsclaims.
