{"id":25139,"date":"2026-10-28T06:25:00","date_gmt":"2026-10-28T06:25:00","guid":{"rendered":"https:\/\/atalnetworks.com\/?p=25139"},"modified":"2026-10-28T06:28:33","modified_gmt":"2026-10-28T06:28:33","slug":"llm-inference-server-sizing","status":"publish","type":"post","link":"https:\/\/atalnetworks.com\/nl\/blog\/llm-inference-server-sizing\/","title":{"rendered":"Self-hosting LLMS op een dedicated server: handleiding voor hardware"},"content":{"rendered":"<p><b>Om een LLM zelf te hosten op een dedicated server, moet u de hardware voor het model, contextlengte, actieve verzoeken en responstijddoel formaat.<\/b><span style=\"font-weight: 400;\"> Budget voor modelgewichten, verzoekgeheugen, runtime-overhead, systeem-RAM, CPU-werk en opslag. Een model dat met succes laadt, heeft een geheugencontrole doorstaan, geen test voor productiecapaciteit.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">De kloof wordt duidelijk tijdens een druk uur. Een kort verzoek werkt. Verschillende gebruikers dienen lange documenten in, de aanvraagwachtrij groeit en dezelfde server heeft geen geheugen meer of duurt te lang om te reageren.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Vermijd dat probleem door in deze volgorde te plannen:<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Definieer het exacte model en het aanvraagprofiel.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Bereken het gewichtsgeheugen en het cachegeheugen afzonderlijk.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Budget voor de complete server en ondersteunende services.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Test realistisch verkeer tegen responstijd en kwaliteitsdoelen.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Vergelijk de volledige kosten voor de configuraties die doorgeven.<\/span><\/li>\n<\/ol>\n<h2><span style=\"font-weight: 400;\">Begin met het model en vraagprofiel<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Servergrootte begint met wat de applicatie moet doen. \"Run een LLM voor ons team\" is te breed om een nuttige hardwareaanbeveling te produceren.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Neem deze ingangen op voordat u servers vergelijkt:<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Invoer<\/b><\/th>\n<th><b>Wat op te nemen?<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Model-<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Exacte naam, revisie, architectuur en licentie<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Gewicht formaat<\/span><\/td>\n<td><span style=\"font-weight: 400;\">FP16, BF16 of het specifieke gekwantiseerde artefact<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Verband<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Normale en maximale prompt-plus-output-tokentellingen<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Verkeer<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Actieve generaties, aankomstsnelheid en burst-gedrag<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Prestatie<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Tijd tot eerste token en acceptabele doorlooptijd<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Kwaliteit<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Taken die het model correct moet voltooien<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Andere diensten<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Inbeddingen, herschikking, vector zoeken, API's en monitoring<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Verrichtingen<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Update proces, herstelbehoeften en groeireserve<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Context omvat systeeminstructies, chatgeschiedenis, opgehaalde tekst, gebruikersinvoer en gegenereerde uitvoer. Een korte vraag kan een lange modelinvoer opleveren als de applicatie meerdere documenten toevoegt.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Scheid gebruikers ook van actieve verzoeken. Een service met 100 geregistreerde gebruikers heeft mogelijk maar een paar generaties tegelijk. Een agent die door \u00e9\u00e9n persoon wordt gebruikt, kan tijdens een enkele taak meerdere verzoeken afgeven.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Voor een definitie van het servingproces, zie <\/span><a href=\"https:\/\/atalnetworks.com\/nl\/what-is-ai-inference\/\"><span style=\"font-weight: 400;\">Wat AI-inferentie betekent<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Houd gevolge van training gescheiden houden<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Deze gids behandelt gevolgtrekking: een reeds getraind model gebruiken om een antwoord te produceren. Training en fijnafstemming kunnen extra geheugen vereisen voor gradi\u00ebnten, optimalisatiestatus en activeringen, afhankelijk van de methode.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Gebruik een inferentiemaattabel niet als trainingsaanbeveling. Als dezelfde machine gebruikers van dienst moet zijn en finetuningtaken moet uitvoeren, test dan het gecombineerde schema of scheid die workloads.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Bereken eerst het modelgewichtgeheugen<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Modelgewichten zijn de opgeslagen numerieke waarden die worden gebruikt tijdens inferentie. Hun geheugenvoetafdruk vormt het startpunt voor een hardwarebudget.<\/span><\/p>\n<p><b>Ge\u00efdealiseerd gewichtsgeheugen in bytes = parameteraantal \u00d7 bits per gewicht \u00f7 8<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Voor een nominaal model van acht miljard parameters op 16 bits:<\/span><\/p>\n<p><b>8.000.000.000 \u00d7 16 \u00f7 8 = 16.000.000.000 bytes, of 16 GB<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Bij een ge\u00efdealiseerde vier bits per gewicht geeft dezelfde berekening 4 GB.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Nominale modelgrootte<\/b><\/th>\n<th><b>FP16\/BF16 Gewicht vloer<\/b><\/th>\n<th><b>8-bits gewicht vloer<\/b><\/th>\n<th><b>4-bits gewicht vloer<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">8b<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4 GB<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">14b<\/span><\/td>\n<td><span style=\"font-weight: 400;\">28 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">14 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">7 GB<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32b<\/span><\/td>\n<td><span style=\"font-weight: 400;\">64 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 GB<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">70B<\/span><\/td>\n<td><span style=\"font-weight: 400;\">140 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">70 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">35 GB<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><b>Deze figuren dekken alleen ge\u00efdealiseerde gewichten.<\/b><span style=\"font-weight: 400;\"> Ze sluiten verzoekcache, werkbuffers, kwantisatiemetadata en andere runtime-toewijzingen uit. Het exacte model kan ook meer parameters hebben dan de afgeronde naam doet vermoeden.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Waarom een 4-bits bestand meer nodig heeft dan de onbewerkte berekening<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Een gekwantiseerd artefact kan schaalwaarden, metadata en tensoren bevatten die op andere precisie zijn opgeslagen. Het gedownloade formaat en de geladen geheugenvoetafdruk kunnen verschillen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Noteer het exacte artefact en inspecteer het geheugen nadat u het in de beoogde runtime hebt geladen. Behandel niet elk formaat met het label \"4-bit\" als uitwisselbaar.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Het verminderen van de precisie van het gewicht vermindert ook niet automatisch de precisie van de aanvraagcache. Dat zijn afzonderlijke instellingen met afzonderlijke compatibiliteit en kwaliteitscontroles.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Gebruik totale parameters voor MOE gewichtsplanning<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Een mix-of-experts-model, of MOE-model, activeert slechts een deel van zijn expertnetwerk voor elk token. Dat kan de berekening verminderen ten opzichte van het gebruik van elke expert, maar de andere gewichten hebben nog steeds een plaatsingsplan nodig.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Voor een volledige ingezetenschap, budget voor het opgeslagen model, niet alleen het aantal actieve parameters. Expert offload en gedistribueerde plaatsing kunnen veranderen waar het geheugen wordt gebruikt, maar ze introduceren hun eigen overdrachts- en uitvoeringskosten.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Houd GB en GIB consistent<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">E\u00e9n GB is een miljard bytes. E\u00e9n GIB is 1.073.741.824 bytes. Een payload van 4 GB is ongeveer 3,73 gib.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Converteer waarden naar dezelfde eenheid voordat u het modelgeheugen aftrekt van een apparaatbudget. Gebruik het werkelijk beschikbare geheugen dat voor de implementatie is gerapporteerd in plaats van een productlabel te mengen met een anders gerapporteerde meting.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Voeg KV-cache, contextlengte en gelijktijdige verzoeken toe<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">de sleutelwaardecache, meestal de <\/span><b>KV-cache<\/b><span style=\"font-weight: 400;\">, slaat aandachtsgegevens op die worden gebruikt terwijl het model tekst genereert. Modelgewichten kunnen worden gedeeld tussen verzoeken binnen \u00e9\u00e9n modelinstantie, maar actieve reeksen hebben ook een verzoekstatus nodig.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Daarom kunnen langere contexten en actievere verzoeken geheugen verbruiken, zelfs als het geladen model niet verandert.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Voor een conventionele decoder met dezelfde lay-out met volledige aandacht in elke laag, schat u de logische cache-payload als:<\/span><\/p>\n<p><b>KV-bytes \u2248 2 \u00d7 lagen \u00d7 kV-koppen \u00d7 kopdimensie \u00d7 bytes per cachewaarde \u00d7 totale cache-tokens<\/b><\/p>\n<p><span style=\"font-weight: 400;\">De factor van twee is goed voor sleutels en waarden. Totaal gecacheteerde tokens betekent de som over actieve reeksen. Als alle sequenties dezelfde lengte hebben, vermenigvuldig die lengte dan met het aantal actieve reeksen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Dit is niet een universele formule voor elk model. Aandacht voor schuifvensters, andere cache-architecturen, cache-kwantisering en runtime-toewijzingsregels kunnen de berekening veranderen. Hugging Face documenteert cachestrategie\u00ebn met verschillend geheugengedrag, inclusief limieten voor lagen voor schuifvensters en chunked-aandacht.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Een bewerkt cachevoorbeeld<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Meta&#8217;s Llama 3.1 8B configuration uses 32 layers, 32 attention heads, eight KV heads, and a hidden dimension of 4,096. The head dimension is 4,096 \u00f7 32 = 128.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Ga uit van een twee-byte KV-cache, volledige aandacht en geen voorvoegsel delen:<\/span><\/p>\n<p><b>2 \u00d7 32 \u00d7 8 \u00d7 128 \u00d7 2 = 131.072 bytes per cache-token per reeks<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Dat is gelijk aan 128 KIB.\u00a0<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Gecachte tokens per reeks<\/b><\/th>\n<th><b>Actieve sequenties<\/b><\/th>\n<th><b>Berekend logisch KV-payload<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1 gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32 Gib<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Het model is ongewijzigd, maar verzoekgeheugen verandert scherp. Dit is de reden waarom het toevoegen van een vast percentage aan de modelgrootte geen rekening kan houden met elke context- en gelijktijdigheidsdoel.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Dit zijn berekende payloads, geen gemeten GPU-toewijzingen. Een runtime kan van tevoren cacheblokken reserveren of toewijzingen behouden voor hergebruik. Geheugen gerapporteerd door een monitoringtool kan daarom afwijken van de payload van live tokens.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Bouw een compleet GPU-geheugenbudget op<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Begin voor een volledig GPU-ingezetene-implementatie met:<\/span><\/p>\n<p><b>GPU-geheugenbudget = geladen gewichten + KV-toewijzing + runtime-werkgeheugen + reserve operationeel<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Gebruik waar mogelijk gemeten runtime-waarden. Vermijd het tellen van dezelfde gereserveerde cachepool twee keer.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Voorbeeld: een korte-contextassistent versus een gedeelde service<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Het volgende is een <\/span><b>leerscenario<\/b><span style=\"font-weight: 400;\">, geen Atal-benchmark. Stel:<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Geladen gekwantiseerde gewichten: 5 gib.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Ander runtime-werkgeheugen: 2 gib.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Operationele reserve: 2 GIB.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Cachelay-out uit het voorbeeld van de Llama 3.1 8b hierboven.<\/span><\/li>\n<\/ul>\n<table>\n<thead>\n<tr>\n<th><b>Geheugenartikel<\/b><\/th>\n<th><b>Assistent voor korte context<\/b><\/th>\n<th><b>Gedeelde service met langere context<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Actieve sequenties<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Gecachte tokens per reeks<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Geladen gewichten, verondersteld<\/span><\/td>\n<td><span style=\"font-weight: 400;\">5 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">5 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Logisch KV laadvermogen, berekend<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1 gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">ander werkgeheugen, verondersteld<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">reserve, verondersteld<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Gecombineerd totaalplan<\/span><\/td>\n<td><span style=\"font-weight: 400;\">10 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">25 GIB<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Onder deze aannames wist het eerste profiel een 16 GIB-geheugenbudgetcontrole. De tweede overschrijdt een budget van 24 GIB. Geen van beide resultaten bewijst doorvoer of responstijd.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">De reserve- en overheadcijfers zijn inputs voor dit voorbeeld, geen algemene aanbevelingen. Vervang ze door metingen uit de exacte runtime en instellingen voordat u hardware selecteert.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Hoe zit het met een 70B-model?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Een nominaal 70B-model heeft een ge\u00efdealiseerde vier-bits gewichtsvloer van 35 GB. Het kan niet volledig GPU-resident zijn binnen 24 GB van het beschikbare geheugen, zelfs v\u00f3\u00f3r cache en overhead.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Mogelijke paden zijn onder meer een GPU met een groter geheugen, ondersteunde multi-GPU-plaatsing, CPU-offload of een kleiner model dat de taakkwaliteitstest doorstaat. Een apparaat van 48 GB is geen algemene aanbeveling voor elke 70B-werklast. Context, actieve verzoeken, indelingsoverhead en runtime-gedrag zijn nog steeds van belang.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Kies GPU-hardware door meer dan VRAM<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Voldoende geheugen maakt een configuratie mogelijk. Het maakt de configuratie niet snel genoeg.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Vergelijk kandidaten met dezelfde werklast:<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Hardwarecontrole<\/b><\/th>\n<th><b>Wat te bevestigen?<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Beschikbaar VRAM<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Werkelijke toewijzing na partities en andere processen<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Runtime-ondersteuning<\/span><\/td>\n<td><span style=\"font-weight: 400;\">GPU-architectuur, driver-, backend- en modelondersteuning<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Gewichts- en cacheformaten<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Ondersteunde kernels en geheugengedrag<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Geheugenbandbreedte<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Prestaties onder het geselecteerde model en verzoekmix<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Binden<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Apparaattopologie voor de gekozen parallelle methode<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Stroom en koeling<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Aanhoudende operationele limieten in de server<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Servicevoorwaarden<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Toegewijde of gedeelde bronnen, ondersteuning en vervangingsproces<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Vermijd het selecteren van een GPU uit een generieke gebruikers-per-kaart tabel. Tien korte verzoeken en tien lange-documentverzoeken zijn verschillende workloads.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Bewaar de revisie van het modelrevisie op de shortlist, de runtime-versie, de limieten voor prompt-\/uitvoer en het doel voor actief verzoek naast elke hardwareoptie. Anders is de vergelijking moeilijk te reproduceren.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Groottesysteem RAM, CPU, opslag en netwerken<\/span><\/h2>\n<h3><span style=\"font-weight: 400;\">Systeem-RAM: budget voor laad- en hostservices<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Systeem-RAM ondersteunt het besturingssysteem, modellading, API's, tokenisatie, bewaking en elk CPU-resident model of cachestatus. Inbeddingsmodellen, rerankers en vectordatabases voegen verdere vraag toe als ze de host delen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Meet piek-RAM tijdens het opstarten en stabiele werking. De laadmethode kan tijdelijke kopie\u00ebn of buffers gebruiken die afwezig zijn na het opstarten.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Er is geen enkele RAM-tot-VRAM-verhouding die past bij elke inferentiestack. Bouw een hostbudget op van het geselecteerde runtime-, offloadplan- en ondersteunende services. Een model dat op de GPU past, kan nog steeds falen tijdens het laden omdat het hostgeheugen onvoldoende is.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">CPU: match cores en geheugenbandbreedte met de taak<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Op een door GPU ondersteunde server verzorgt de CPU nog steeds verzoekverwerking, tokenisatie, netwerken en applicatiewerk. Alleen CPU-inferentie maakt processoruitvoering en systeemgeheugengedrag ook centraal in prestaties.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Test de beoogde draadtelling. Meer cores produceren niet automatisch een overeenkomende verhoging van het tokenpercentage. Voor multi-socketsystemen, inspecteer de geheugenplaats en de plaatsing van GPU's en netwerkapparaten.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Een dedicated server die alleen op CPU's is, kan een kandidaat zijn voor batchtaken, experimenten of taken met een lage frequentie. Of het geschikt is voor interactief gebruik, hangt af van het model en de gemeten responstijd.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">NVMe-opslag: inclusief versies en herstel<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Budgetopslag voor meer dan \u00e9\u00e9n gedownload model:<\/span><\/p>\n<p><b>Opslagbudget = Actieve modelbestanden + rollback-bestanden + runtime-artefacten + applicatiegegevens + bewaarde logs + vrije werkruimte<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Voeg vectorindexen en documentgegevens toe wanneer het ophalen de server deelt. Overweeg ook tijdelijke downloads en conversiebestanden.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Lokale NVMe kan modellading en vertragingen bij gegevenstoegang verminderen. Het garandeert geen hogere generatiesnelheid nadat alle vereiste gewichten in het geheugen aanwezig zijn. Meet de koude starttijd apart van de prestaties van warme verzoeken.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Netwerken: scheiden clientverkeer van modelverkeer<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Een openbare netwerkpoort behandelt clientverbindingen, downloads en overdrachten. GPU-naar-GPU-links en het netwerk tussen gedistribueerde inferentieknooppunten dienen verschillende doelen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Gebruik geen openbare 10 Gbps-poortspecificatie als bewijs van prestaties met meerdere knooppunten. Controleer de werkelijke topologie, communicatiemethode en runtime-vereisten.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Meet voor spraaktoepassingen de volledige beurt: spraakinvoer, transcriptie, modelrespons, spraakgeneratie en levering. LLM-tijd tot het eerste token beslaat slechts een deel van dat pad.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Stem het ontwerp van de runtime en het multi-GPU af op de werkbelasting<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Kies de runtime voordat u een definitieve hardwarebeslissing neemt. Het regelt modelondersteuning, plaatsing, batching en geheugenbeheer.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>runtime<\/b><\/th>\n<th><b>Handig evaluatiepad<\/b><\/th>\n<th><b>Controleer voordat u zich pleegt<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">oliepil<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Modelproeven en een eenvoudigere server-workflow<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Hardwareondersteuning, context, parallelle verzoeken en limieten voor geladen model<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">lama.cpp<\/span><\/td>\n<td><span style=\"font-weight: 400;\">GGUF-modellen, CPU-inferentie en gedeeltelijke GPU-offload<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Build\/Backend, artefactondersteuning, gelost lagen en gemeten snelheid<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">vllm<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Batched serving en ondersteunde multi-GPU-implementaties<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Model-\/formaatcompatibiliteit, geheugenbesturing, topologie en latentie onder belasting<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Ollama documenteert verhoogde geheugenbehoeften met parallelle verzoeken en langere context. lama.cpp ondersteunt CPU\/GPU hybride inferentie. Dit zijn opties om te testen, geen garanties voor een specifiek tokentarief.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">E\u00e9n model splitsen of afzonderlijke replica's uitvoeren?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Het splitsen van een model over GPU's kan helpen als het niet op \u00e9\u00e9n apparaat past. Tensor parallellisme verdeelt ondersteunde tensoroperaties; Pipeline parallellisme verdeelt modelstadia of lagen. MOE-implementaties kunnen ook deskundige parallellisme gebruiken.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Replica's dienen een ander doel. Elke kopie heeft zijn eigen gewichten en kan een afzonderlijke reeks verzoeken afhandelen. Replica's kunnen servercapaciteit toevoegen wanneer \u00e9\u00e9n exemplaar al past, maar ze combineren hun geheugen niet om \u00e9\u00e9n groter model vast te houden.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Twee GPU's worden niet \u00e9\u00e9n automatische geheugenpool. Toewijzing per apparaat, communicatie en runtime-ondersteuning beperken de lay-out nog steeds. VLLM documenteert meerdere parallelle methoden en topologieoverwegingen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">NVLink is geen universele vereiste. Vergelijk de daadwerkelijke ondersteunde lay-out en benchmark deze. Noch het toevoegen van een tweede GPU, noch het verdubbelen van het totale VRAM garandeert twee keer de nuttige doorvoer.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Benchmark de server v\u00f3\u00f3r productie<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Test het toepassingsdoel, niet het hoogste aantal in een benchmark-screenshot.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Metrisch<\/b><\/th>\n<th><b>Wat het je vertelt<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Tijd tot eerste token of TTFT<\/span><\/td>\n<td><span style=\"font-weight: 400;\">hoe lang de client wacht op de initi\u00eble modeluitvoer<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Inter-Token latentie<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Hoe soepel de output arriveert nadat de generatie begint<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Uitvoersnelheid per verzoek<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Generatiesnelheid ervaren door \u00e9\u00e9n verzoek<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Aggregate output rate<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Totale uitvoer over de server<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Verzoek doorlooptijd<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Hoe lang duurt de volledige reactie?<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Fouten en wachtrijgroei<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Of de vraag groter is dan de bruikbare capaciteit<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">De definities en meetgrenzen zijn van belang. Nvidia's benchmarkrichtlijnen onderscheiden tokensnelheden op gebruikersniveau, systeemdoorvoer en latentie van respons. Houd de definities van de geselecteerde tool bij de resultaten.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Gebruik een herhaalbare acceptatietest<\/span><\/h3>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Bevestig de configuratie.<\/b><span style=\"font-weight: 400;\"> Record Model Revisie, Artifact, Tokenizer, Runtime, Driver, GPU, CPU, RAM, opslag en stroomlimieten.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Test \u00e9\u00e9n verzoek.<\/b><span style=\"font-weight: 400;\"> Meet koud en warm gedrag met representatieve input- en outputlengtes.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>gelijktijdigheid vergroten.<\/b><span style=\"font-weight: 400;\"> Controleer normale en lange verzoeken op verschillende niveaus voor actief verzoeken.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Test aankomst barsten.<\/b><span style=\"font-weight: 400;\"> Verstuur verzoeken tegen de verwachte snelheid, zodat wachtrijen en overbelastingsgedrag zichtbaar worden.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Controleer de kwaliteit.<\/b><span style=\"font-weight: 400;\"> Herhaal taaktests na het wijzigen van de precisie-, context- of serveerinstellingen.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Noteer de pasvoorwaarden.<\/b><span style=\"font-weight: 400;\"> Neem latentie, succesvolle doorvoer, geheugen, kwaliteit en vereiste reserve.<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">Gebruik verschillende gemeten herhalingen na consistente warming-up. Rapporteer mislukkingen, steekproeftellingen en de spreiding van de resultaten. Een P99-cijfer op basis van te weinig verzoeken kan misleiden.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Als prefix caching is ingeschakeld, test dan zowel herhaalde als nieuwe voorvoegsels. Als u de machine insluit of opnieuw rangschikt, neemt u deze op in de belastingstest. Een synthetisch kort-prompt resultaat kan geen lange-documentcapaciteit vaststellen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Gebruik de huidige tools en neem hun versies op. Nvidia's huidige Genai-Perf-documentatie zegt dat het wordt uitgefaseerd en stuurt nieuw benchmarkingwerk aan AIPERF.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Wanneer geheugen de beperkende bron is<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Bepaal eerst of het probleem modellading, cachereservering, contextgroei of andere services is. Verander dan \u00e9\u00e9n factor en test opnieuw.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Mogelijke opties zijn onder meer een kleiner model, een ondersteund gekwantiseerd artefact, kortere contextlimieten, minder actieve reeksen of een ander plaatsingsplan. Deze keuzes kunnen de kwaliteit, wachtrijen en doorvoer veranderen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">VLLM documenteert contextlengte en sequentielimieten als geheugenbesturing, en merkt op dat CUDA Graph Capture extra GPU-geheugen gebruikt. Behandel instellingen als onderdeel van de gemeten configuratie.\u00a0<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Vergelijk zelfhostingkosten met API's en cloud-GPU's<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Vergelijk alleen configuraties die voldoen aan de vereiste taakkwaliteit en responstijd. Een goedkope server die onbruikbare antwoorden produceert, is geen besparing.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Voor een gehuurde dedicated server, omvatten:<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Huur- en setupkosten over de geplande termijn.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Opslag-, overdracht-, software- en ondersteuningskosten.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Werkzaamheden voor updates, monitoring en incidenten.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">capaciteit die nodig is voor onderhoud of storingsafhandeling.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-weight: 400;\">Voeg geen stroom opnieuw toe als de huurprijs het al bevat. Gebruik voor hardware in eigendom een afzonderlijk eigendomsmodel voor aankoop, energie, faciliteiten en ondersteuning.<\/span><\/p>\n<p><b>Kosten per geaccepteerd verzoek = volledige kosten gedurende een periode \u00f7 geaccepteerde verzoeken gedurende die periode<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Een fictieve volledige maandelijkse kost van $1.200 gedeeld door 600.000 geaccepteerde verzoeken geeft bijvoorbeeld $0.002 per geaccepteerd verzoek. Dit is een onderwijsberekening, geen Atal-offerte of gemeten serveercapaciteit.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Ga er niet vanuit dat tien keer de vraag op dezelfde server past op dezelfde responstijd. De kosten veranderen wanneer capaciteit, personeel of reservebehoeften veranderen.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Voor API-vergelijkingen, prijsinvoertokens, uitvoertokens, caching en andere gefactureerde categorie\u00ebn afzonderlijk. Voor cloud-GPU's, inclusief bedrijfsuren, aangesloten opslag, transfers en vereiste ondersteunende services.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Er is geen universeel tokenvolume waarbij zelfhosting goedkoper wordt. Gebruik, modelkwaliteit, verzoeklengte, hardware en operationele verantwoordelijkheid bepalen het resultaat.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Controleer de implementatielimieten voordat u bestelt<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Hardware fit is een onderdeel van gereedheid. Bevestig de exacte modellicentie en toegestane gebruik. Controleer de compatibiliteit van het stuurprogramma voor stuurprogramma's, runtime en artefacten.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">controleer de toegang tot het inferentie-eindpunt. Stel verzoekgrootte, uitvoer, wachtrij en snelheidslimieten in. Definieer log- en bewaarregels. Bekijk uitgaande verbindingen, externe inbeddingen, tools en fallback-API's als gegevens binnen een specifieke grens moeten blijven.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Een gehuurde dedicated server is niet automatisch op het terrein of luchtgat. Zelfhosting geeft u controle over implementatiekeuzes; Het bewijst niet dat elke prompt onder elke configuratie priv\u00e9 blijft.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Plan modelupdates, rollback-bestanden, monitoring en herstel. Als de service moet doorgaan tijdens een hostfout, heeft de architectuur reservecapaciteit nodig buiten die host. Meerdere GPU's binnen \u00e9\u00e9n server bieden geen tweede host.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Veel gestelde vragen<\/span><\/h2>\n<h3><span style=\"font-weight: 400;\">Kan ik zelf een LLM hosten zonder een GPU?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Ja. Ondersteunde runtimes kunnen modellen op CPU's uitvoeren en sommige kunnen het werk tussen CPU en GPU verdelen. Begin met een model en formaat dat past bij het systeem-RAM en test vervolgens de responstijd. Alleen CPU-inferentie kan geschikt zijn voor batch- of laagfrequente taken, maar interactieve geschiktheid moet worden gemeten.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Is 24 GB VRAM genoeg voor een LLM-server?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Het hangt af van het artefact, de context, de actieve verzoeken en de runtime. Verschillende compacte gekwantiseerde modellen passen mogelijk, maar geheugenpassing vestigt geen productiecapaciteit. De ge\u00efdealiseerde vier-bits gewichten van een nominaal 70B-model alleen al vereisen 35 GB, wat meer dan 24 GB beschikbaar is voor VRAM.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Hoeveel geheugen heeft een 70b-model nodig?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">De ge\u00efdealiseerde gewichtsvloeren zijn 140 GB met 16 bits, 70 GB bij acht bits en 35 GB bij vier bits. Voeg indelingsoverhead, cache, werkgeheugen en reserve toe. Plaatsing in GPU en hostgeheugen is afhankelijk van de runtime.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Kunnen twee GPU's van 24 GB \u00e9\u00e9n grotere GPU vervangen?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Soms, als het model en de runtime een geschikte splitsing ondersteunen. Ze zijn niet automatisch gelijk aan \u00e9\u00e9n groter apparaat. Communicatie, overhead per apparaat, cacheplaatsing en servertopologie be\u00efnvloeden zowel pasvorm als snelheid.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Waarom laadt het model maar faalt met verschillende verzoeken?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Laden controleert of de initi\u00eble modeltoewijzing past. Aanvullende verzoeken kunnen de cache en de vraag naar werkgeheugen vergroten. Meet het exacte storingspunt en controleer de context, limieten voor actieve sequenties en andere geladen services voordat u de hardware wijzigt.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Hoeveel systeem-RAM heeft een inferentieserver nodig?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Budget voor opstartpieken, het besturingssysteem, runtime, API-services, CPU-offload en eventuele ophaalcomponenten. Meet zowel de belasting als de stabiele werking. Er is geen vaste systeem-RAM-vereiste die volgt uit het aantal parameters of alleen GPU-geheugen.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Is een dedicated server goedkoper dan een API?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Het kan zijn, maar vergelijk de volledige kosten met een gelijkwaardige taakkwaliteit en responstijd. Een lage of onregelmatige vraag kan gehuurde hardware inactief laten. Aanhoudende vraag kan het gebruik verbeteren, op voorwaarde dat de geselecteerde server dit binnen het servicedoel kan afhandelen.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Aanbevolen volgende stappen<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Kies hardware uit een gedocumenteerd verzoekprofiel, niet alleen het aantal parameters. Bereken gewichten en cache afzonderlijk, voeg het volledige serverbudget toe en test de configuraties die overblijven.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Voordat u zich inzet:<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Herstel de modelrevisie, artefact, context en Active-Request-doel.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Bereken het geheugenbudget met behulp van consistente eenheden.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Bevestig runtime-ondersteuning en plaatsing per apparaat.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Test latentie, doorvoer, kwaliteit en faalgedrag.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Vergelijk de volledige kosten over dezelfde periode.<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">Om een geschikte configuratie te bespreken, bekijkt u <\/span><a href=\"https:\/\/atalnetworks.com\/nl\/dedicated-servers\/\"><span style=\"font-weight: 400;\">Atal Networks dedicated servers<\/span><\/a><span style=\"font-weight: 400;\"> en deel uw model, verzoekprofiel, geheugenschatting, locatie en softwarevereisten. Bevestig de beschikbaarheid van de GPU en de ondersteunde opties voor de specifieke aanbieding voordat u bestelt.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Bronnen en berekeningen<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Bronnen werden gecontroleerd op 28 oktober 2026. Modelconfiguraties, runtime-ondersteuning en softwaregedrag kunnen veranderen, dus noteer de versie die voor een implementatie wordt gebruikt.<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/github.com\/meta-llama\/llama-models\/blob\/main\/models\/sku_list.py\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Meta Llama-modelconfiguraties<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/huggingface.co\/docs\/transformers\/en\/kv_cache\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Knuffelen van gezichtscache-strategie\u00ebn<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.vllm.ai\/en\/stable\/configuration\/conserving_memory\/\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">VLLM-geheugenbesturing<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.vllm.ai\/en\/stable\/serving\/parallelism_scaling\/\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">VLLM parallellisme en schaalvergroting<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.ollama.com\/faq\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Ollama FAQ<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Lama.CPP-project<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/developer.nvidia.com\/blog\/?p=98215\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Nvidia Inferentie Benchmarking Concepten<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.nvidia.com\/deeplearning\/triton-inference-server\/user-guide\/docs\/perf_analyzer\/genai-perf\/README.html\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Nvidia benchmark-tool-status<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-weight: 400;\">Gewichtstabellen gebruiken ge\u00efdealiseerde bittellingen en decimale GB. KV-Cache-cijfers gebruiken binaire GIB en de vermelde aannames voor volledige aandacht. De 5 GIB-gewichtstoewijzing, 2 GIB-werkgeheugeninput, 2 GIB-reserve en dollarvoorbeeld zijn fictieve onderwijsinputs. Het zijn geen Atal-metingen, prijzen of capaciteitsclaims.<\/span><\/p>","protected":false},"excerpt":{"rendered":"<p>To self-host an LLM on a dedicated server, size the hardware for the model, context length, active requests, and response-time [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":25140,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"default","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"set","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[6],"tags":[],"class_list":["post-25139","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-dedicated-server-hosting"],"acf":[],"_links":{"self":[{"href":"https:\/\/atalnetworks.com\/nl\/wp-json\/wp\/v2\/posts\/25139","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/atalnetworks.com\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/atalnetworks.com\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/nl\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/nl\/wp-json\/wp\/v2\/comments?post=25139"}],"version-history":[{"count":3,"href":"https:\/\/atalnetworks.com\/nl\/wp-json\/wp\/v2\/posts\/25139\/revisions"}],"predecessor-version":[{"id":25143,"href":"https:\/\/atalnetworks.com\/nl\/wp-json\/wp\/v2\/posts\/25139\/revisions\/25143"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/nl\/wp-json\/wp\/v2\/media\/25140"}],"wp:attachment":[{"href":"https:\/\/atalnetworks.com\/nl\/wp-json\/wp\/v2\/media?parent=25139"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/atalnetworks.com\/nl\/wp-json\/wp\/v2\/categories?post=25139"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/atalnetworks.com\/nl\/wp-json\/wp\/v2\/tags?post=25139"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}