...

Αυτο-φιλοξενία LLM σε αποκλειστικό διακομιστή: Οδηγός μεγέθους υλικού

Αυτο-φιλοξενία Οδηγός μεγέθους υλικού LLM 1

Για να φιλοξενήσετε μόνοι σας ένα LLM σε έναν αποκλειστικό διακομιστή, το μέγεθος του υλικού για το μοντέλο, το μήκος περιβάλλοντος, τα ενεργά αιτήματα και τον στόχο χρόνου απόκρισης. Προϋπολογισμός για βάρη μοντέλων, μνήμη αιτημάτων, επιβάρυνση χρόνου εκτέλεσης, μνήμη RAM συστήματος, εργασία CPU και αποθήκευση. Ένα μοντέλο που φορτώνει με επιτυχία έχει περάσει έναν έλεγχο μνήμης, όχι μια δοκιμή παραγωγικής χωρητικότητας.

Το κενό γίνεται σαφές κατά τη διάρκεια μιας πολυάσχολης ώρας. Ένα σύντομο αίτημα λειτουργεί. Αρκετοί χρήστες υποβάλλουν μεγάλα έγγραφα, η ουρά αιτημάτων μεγαλώνει και ο ίδιος διακομιστής μένει εκτός μνήμης ή χρειάζεται πολύς χρόνος για να απαντήσει.

Αποφύγετε αυτό το πρόβλημα προγραμματίζοντας με αυτή τη σειρά:

  1. Καθορίστε το ακριβές μοντέλο και το προφίλ αιτήματος.
  2. Υπολογίστε τη μνήμη βάρους και τη μνήμη κρυφής μνήμης ξεχωριστά.
  3. προϋπολογισμός για τον πλήρη διακομιστή και τις υποστηρικτικές υπηρεσίες.
  4. Δοκιμάστε ρεαλιστική επισκεψιμότητα έναντι στόχων χρόνου απόκρισης και ποιότητας.
  5. Συγκρίνετε το πλήρες κόστος για τις διαμορφώσεις που περνούν.

Ξεκινήστε με το μοντέλο και αιτήστε προφίλ

Το μέγεθος του διακομιστή ξεκινά με το τι πρέπει να κάνει η εφαρμογή. Η "Εκτέλεση LLM για την ομάδα μας" είναι πολύ ευρεία για να παράγει μια χρήσιμη σύσταση υλικού.

Καταγράψτε αυτές τις εισόδους πριν συγκρίνετε τους διακομιστές:

Εισαγωγή Τι να ηχογραφήσετε
Μοντέλο Ακριβές όνομα, αναθεώρηση, αρχιτεκτονική και άδεια
μορφή βάρους FP16, BF16 ή το συγκεκριμένο κβαντισμένο τεχνούργημα
Συμφραζόμενα Κανονικές και μέγιστες μετρήσεις διακριτικών προτροπής και εξόδου
Κυκλοφορία ενεργές γενιές, ρυθμός άφιξης και συμπεριφορά ριπής
Εκτέλεση Χρόνος για το πρώτο διακριτικό και αποδεκτός χρόνος ολοκλήρωσης
Ποιότητα εργασίες που πρέπει να ολοκληρώσει σωστά το μοντέλο
Άλλες υπηρεσίες Ενσωματώσεις, ανακατάταξη, διανυσματική αναζήτηση, API και παρακολούθηση
λειτουργίες Διαδικασία ενημέρωσης, ανάγκες ανάκτησης και αποθεματικό ανάπτυξης

Το πλαίσιο περιλαμβάνει οδηγίες συστήματος, ιστορικό συνομιλιών, ανακτημένο κείμενο, είσοδο χρήστη και παραγόμενη έξοδο. Μια σύντομη ερώτηση μπορεί να δημιουργήσει μια μεγάλη είσοδο μοντέλου εάν η εφαρμογή προσθέσει πολλά έγγραφα.

Διαχωρίστε επίσης τους χρήστες από τα ενεργά αιτήματα. Μια υπηρεσία με 100 εγγεγραμμένους χρήστες μπορεί να έχει μόνο λίγες γενιές που εκτελούνται ταυτόχρονα. Ένας πράκτορας που χρησιμοποιείται από ένα άτομο μπορεί να υποβάλει πολλά αιτήματα κατά τη διάρκεια μιας μεμονωμένης εργασίας.

Για έναν ορισμό της διαδικασίας σερβιρίσματος, βλ. Τι σημαίνει συμπέρασμα AI.

Διατηρήστε τα συμπεράσματα χωριστά από την εκπαίδευση

Αυτός ο οδηγός καλύπτει τα συμπεράσματα: χρησιμοποιώντας ένα ήδη εκπαιδευμένο μοντέλο για την παραγωγή μιας απάντησης. Η εκπαίδευση και η λεπτομέρεια μπορεί να απαιτούν πρόσθετη μνήμη για διαβαθμίσεις, κατάσταση βελτιστοποίησης και ενεργοποιήσεις, ανάλογα με τη μέθοδο.

Μην χρησιμοποιείτε έναν πίνακα μεγεθών συμπερασμάτων ως σύσταση εκπαίδευσης. Εάν το ίδιο μηχάνημα πρέπει να εξυπηρετεί τους χρήστες και να εκτελεί εργασίες τελειοποίησης, δοκιμάστε το συνδυασμένο χρονοδιάγραμμα ή διαχωρίστε αυτούς τους φόρτους εργασίας.

Υπολογίστε πρώτα τη μνήμη μοντέλου-βάρους

Τα βάρη του μοντέλου είναι οι αποθηκευμένες αριθμητικές τιμές που χρησιμοποιούνται κατά την εξαγωγή συμπερασμάτων. Το αποτύπωμα μνήμης τους παρέχει το σημείο εκκίνησης για έναν προϋπολογισμό υλικού.

Εξιδανικευμένη μνήμη βάρους σε bytes = αριθμός παραμέτρων × bit ανά βάρος ÷ 8

Για ένα ονομαστικό μοντέλο παραμέτρων οκτώ δισεκατομμυρίων στα 16 bit:

8.000.000.000 × 16 ÷ 8 = 16.000.000.000 byte ή 16 GB

Σε εξιδανικευμένα τέσσερα bit ανά βάρος, ο ίδιος υπολογισμός δίνει 4 GB.

ονομαστικό μέγεθος μοντέλου FP16/BF16 Βάρος δάπεδο Δάπεδο βάρους 8 bit Δάπεδο βάρους 4 bit
8β 16 GB 8 GB 4 GB
14β 28 GB 14 GB 7 GB
32β 64 GB 32 GB 16 GB
70β 140 GB 70 GB 35 GB

Αυτές οι φιγούρες καλύπτουν μόνο εξιδανικευμένα βάρη. Εξαιρούν την προσωρινή μνήμη αιτημάτων, τα buffer εργασίας, τα μεταδεδομένα κβαντοποίησης και άλλες κατανομές χρόνου εκτέλεσης. Το ακριβές μοντέλο μπορεί επίσης να έχει περισσότερες παραμέτρους από ό,τι υποδηλώνει το στρογγυλεμένο όνομά του.

Γιατί ένα αρχείο 4-bit χρειάζεται περισσότερα από τον ακατέργαστο υπολογισμό

Ένα κβαντισμένο τεχνούργημα μπορεί να περιέχει τιμές κλίμακας, μεταδεδομένα και τανυστές που είναι αποθηκευμένοι σε άλλες ακριβείς. Το ληφθέν μέγεθος και το φορτωμένο αποτύπωμα μνήμης μπορεί να διαφέρουν.

Καταγράψτε το ακριβές τεχνούργημα και, στη συνέχεια, επιθεωρήστε τη μνήμη αφού το φορτώσετε στον επιδιωκόμενο χρόνο εκτέλεσης. Μην αντιμετωπίζετε κάθε μορφή με την ένδειξη "4-bit" ως εναλλάξιμη.

Η μείωση της ακρίβειας βάρους δεν μειώνει αυτόματα την ακρίβεια της κρυφής μνήμης αιτήματος. Αυτές είναι ξεχωριστές ρυθμίσεις με ξεχωριστούς ελέγχους συμβατότητας και ποιότητας.

Χρησιμοποιήστε τις συνολικές παραμέτρους για τον προγραμματισμό βάρους MOE

Ένα μοντέλο Mixture-of-Experts, ή μοντέλο MOE, ενεργοποιεί μόνο μέρος του ειδικού δικτύου του για κάθε διακριτικό. Αυτό μπορεί να μειώσει τους υπολογισμούς σε σχέση με τη χρήση κάθε ειδικού, αλλά τα άλλα βάρη εξακολουθούν να χρειάζονται ένα σχέδιο τοποθέτησης.

Για πλήρη διαμονή, προϋπολογισμός για το αποθηκευμένο μοντέλο, όχι μόνο για τον αριθμό των ενεργών παραμέτρων του. Η εκφόρτωση και η κατανεμημένη τοποθέτηση ειδικών μπορούν να αλλάξουν πού χρησιμοποιείται η μνήμη, αλλά εισάγουν το δικό τους κόστος μεταφοράς και εκτέλεσης.

Διατηρήστε το GB και το GIB συνεπή

Ένα GB είναι ένα δισεκατομμύριο byte. Ένα Gib είναι 1.073.741.824 byte. Ένα ωφέλιμο φορτίο 4 GB είναι περίπου 3,73 Gib.

Μετατρέψτε τις τιμές στην ίδια μονάδα πριν αφαιρέσετε τη μνήμη του μοντέλου από τον προϋπολογισμό της συσκευής. Χρησιμοποιήστε την πραγματική διαθέσιμη μνήμη που αναφέρεται για την ανάπτυξη αντί να αναμειγνύετε μια ετικέτα προϊόντος με μια διαφορετικά αναφερόμενη μέτρηση.

Προσθήκη προσωρινής μνήμης KV, μήκος περιβάλλοντος και ταυτόχρονων αιτημάτων

Η κρυφή μνήμη κλειδιού-τιμής, που συνήθως ονομάζεται η KV Cache, αποθηκεύει δεδομένα προσοχής που χρησιμοποιούνται ενώ το μοντέλο δημιουργεί κείμενο. Τα βάρη του μοντέλου μπορούν να κοινοποιηθούν σε αιτήματα σε μία παρουσία μοντέλου, αλλά οι ενεργές ακολουθίες χρειάζονται επίσης κατάσταση αιτήματος.

Αυτός είναι ο λόγος για τον οποίο τα μεγαλύτερα περιβάλλοντα και τα πιο ενεργά αιτήματα μπορούν να καταναλώνουν μνήμη ακόμα και όταν το φορτωμένο μοντέλο δεν αλλάζει.

Για έναν συμβατικό αποκωδικοποιητή με την ίδια διάταξη πλήρους προσοχής σε κάθε επίπεδο, υπολογίστε το λογικό ωφέλιμο φορτίο της κρυφής μνήμης ως:

KV Bytes ≈ 2 × Επίπεδα × Κεφαλές KV × Διάσταση κεφαλιού × Byte ανά τιμή προσωρινής αποθήκευσης × Σύνολο προσωρινής μνήμης

Ο συντελεστής δύο αντιπροσωπεύει τα κλειδιά και τις τιμές. Συνολικά διακριτικά κρυφής μνήμης σημαίνει το άθροισμα μεταξύ των ενεργών ακολουθιών. Εάν όλες οι ακολουθίες έχουν το ίδιο μήκος, πολλαπλασιάστε αυτό το μήκος με τον αριθμό των ενεργών ακολουθιών.

Αυτή δεν είναι μια καθολική φόρμουλα για κάθε μοντέλο. Η προσοχή του συρόμενου παραθύρου, άλλες αρχιτεκτονικές της κρυφής μνήμης, η κβαντοποίηση της κρυφής μνήμης και οι κανόνες κατανομής χρόνου εκτέλεσης μπορούν να αλλάξουν τον υπολογισμό. Το Hugging Face Documents Cache Strategies με διαφορετική συμπεριφορά μνήμης, συμπεριλαμβανομένων των ορίων για τα επίπεδα συρόμενου παραθύρου και τεμαχισμένης προσοχής. 

Παράδειγμα λειτουργικής προσωρινής μνήμης

Meta’s Llama 3.1 8B configuration uses 32 layers, 32 attention heads, eight KV heads, and a hidden dimension of 4,096. The head dimension is 4,096 ÷ 32 = 128.

Υποθέστε μια κρυφή μνήμη KV δύο byte, πλήρη προσοχή και χωρίς κοινή χρήση προθέματος:

2 × 32 × 8 × 128 × 2 = 131.072 byte ανά διακριτικό που έχει αποθηκευτεί στην κρυφή μνήμη ανά ακολουθία

Αυτό ισούται με 128 κιβ. 

Αποθηκευμένα διακριτικά ανά σειρά ενεργές ακολουθίες Υπολογισμένο λογικό ωφέλιμο φορτίο KV
8,192 1 1 Gib
8,192 4 4 Gib
32,768 4 16 Gib
32,768 8 32 Gib

Το μοντέλο παραμένει αμετάβλητο, ωστόσο η μνήμη αιτημάτων αλλάζει απότομα. Αυτός είναι ο λόγος για τον οποίο η προσθήκη ενός σταθερού ποσοστού στο μέγεθος του μοντέλου δεν μπορεί να λογοδοτήσει για κάθε περιβάλλον και στόχο ταυτόχρονης χρήσης.

Αυτά είναι υπολογισμένα ωφέλιμα φορτία, όχι μετρούμενες κατανομές GPU. Ένας χρόνος εκτέλεσης μπορεί να κρατήσει μπλοκ κρυφής μνήμης εκ των προτέρων ή να διατηρήσει τις κατανομές για επαναχρησιμοποίηση. Επομένως, η μνήμη που αναφέρεται από ένα εργαλείο παρακολούθησης μπορεί να διαφέρει από το ωφέλιμο φορτίο διακριτικού ζωντανού.

Δημιουργήστε έναν πλήρη προϋπολογισμό μνήμης GPU

Για ανάπτυξη πλήρως μόνιμο με GPU, ξεκινήστε με:

Προϋπολογισμός μνήμης GPU = Φορτωμένα βάρη + Εκχώρηση KV + Μνήμη εργασίας χρόνου εκτέλεσης + Αποθεματικό λειτουργίας

Χρησιμοποιήστε μετρημένες τιμές χρόνου εκτέλεσης όπου είναι δυνατόν. Αποφύγετε να μετράτε την ίδια δεσμευμένη ομάδα κρυφής μνήμης δύο φορές.

Παράδειγμα: Ένας βοηθός μικρού περιβάλλοντος έναντι μιας κοινόχρηστης υπηρεσίας

Το παρακάτω είναι α διδακτικό σενάριο, δεν αποτελεί σημείο αναφοράς. Ας υποθέσουμε:

  • Φορτωμένα κβαντισμένα βάρη: 5 Gib.
  • Άλλος χρόνος εργασίας Runtime Memory: 2 Gib.
  • Αποθεματικό λειτουργίας: 2 Gib.
  • Διάταξη προσωρινής μνήμης από το παραπάνω παράδειγμα LLAMA 3.1 8B.
στοιχείο μνήμης βοηθός μικρού περιβάλλοντος Κοινόχρηστη υπηρεσία μεγαλύτερου περιβάλλοντος
ενεργές ακολουθίες 1 4
Αποθηκευμένα διακριτικά ανά σειρά 8,192 32,768
φορτωμένα βάρη, υποτιθέμενα 5 Gib 5 Gib
Λογικό ωφέλιμο φορτίο KV, υπολογισμένο 1 Gib 16 Gib
άλλη μνήμη εργασίας, υποτίθεται 2 Gib 2 Gib
αποθεματικό, υποτίθεται 2 Gib 2 Gib
συνδυασμένο σύνολο προγραμματισμού 10 Gib 25 Gib

Σύμφωνα με αυτές τις υποθέσεις, το πρώτο προφίλ διαγράφει έναν έλεγχο μνήμης-προϋπολογισμού 16 GIB. Το δεύτερο υπερβαίνει έναν προϋπολογισμό 24 GIB. Κανένα αποτέλεσμα δεν αποδεικνύει τη διεκπεραίωση ή τον χρόνο απόκρισης.

Τα στοιχεία του αποθεματικού και των γενικών εξόδων είναι εισροές για αυτό το παράδειγμα, όχι γενικές συστάσεις. Αντικαταστήστε τα με μετρήσεις από τον ακριβή χρόνο εκτέλεσης και τις ρυθμίσεις πριν επιλέξετε υλικό.

Τι γίνεται με ένα μοντέλο 70B;

Ένα ονομαστικό μοντέλο 70B έχει ένα εξιδανικευμένο δάπεδο τεσσάρων bit βάρους 35 GB. Δεν μπορεί να είναι πλήρως κατοικημένο σε GPU εντός 24 GB διαθέσιμης μνήμης, ακόμη και πριν από την προσωρινή μνήμη και την επιβάρυνση.

Οι πιθανές διαδρομές περιλαμβάνουν μια GPU μεγαλύτερης μνήμης, υποστηριζόμενη τοποθέτηση πολλαπλών GPU, εκφόρτωση CPU ή ένα μικρότερο μοντέλο που περνά τη δοκιμή ποιότητας εργασίας. Μια συσκευή 48 GB δεν αποτελεί γενική σύσταση για κάθε φόρτο εργασίας 70B. Το πλαίσιο, τα ενεργά αιτήματα, η επιβάρυνση της μορφής και η συμπεριφορά χρόνου εκτέλεσης εξακολουθούν να έχουν σημασία.

Επιλέξτε υλικό GPU περισσότερο από το VRAM

Αρκετή μνήμη καθιστά δυνατή μια διαμόρφωση. Δεν κάνει τη διαμόρφωση αρκετά γρήγορη.

Συγκρίνετε υποψηφίους χρησιμοποιώντας τον ίδιο φόρτο εργασίας:

έλεγχος υλικού Τι να επιβεβαιώσετε
Διαθέσιμο VRAM Πραγματική κατανομή μετά από κατατμήσεις και άλλες διαδικασίες
Υποστήριξη χρόνου εκτέλεσης Αρχιτεκτονική GPU, πρόγραμμα οδήγησης, υποστήριξη και υποστήριξη μοντέλου
Μορφές βάρους και κρυφής μνήμης Υποστηριζόμενοι πυρήνες και συμπεριφορά μνήμης
εύρος ζώνης μνήμης απόδοση στο επιλεγμένο μοντέλο και μείγμα αιτημάτων
Αλληλοσυνδέω Τοπολογία συσκευής για την επιλεγμένη παράλληλη μέθοδο
ισχύς και ψύξη Παρατεταμένα όρια λειτουργίας στον διακομιστή
όροι υπηρεσίας Αφιερωμένοι ή κοινόχρηστοι πόροι, υποστήριξη και διαδικασία αντικατάστασης

Αποφύγετε την επιλογή μιας GPU από έναν γενικό πίνακα χρηστών ανά κάρτα. Δέκα σύντομα αιτήματα και δέκα αιτήματα μακροσκελής εγγράφου είναι διαφορετικοί φόρτοι εργασίας.

Διατηρήστε την αναθεώρηση μοντέλου που έχει επιλεγεί, την έκδοση χρόνου εκτέλεσης, τα όρια προτροπής/εξόδου και τον στόχο ενεργού αιτήματος δίπλα σε κάθε επιλογή υλικού. Διαφορετικά, η σύγκριση είναι δύσκολο να αναπαραχθεί.

Μέγεθος RAM συστήματος, CPU, αποθήκευση και δικτύωση

Σύστημα μνήμης RAM: προϋπολογισμός για υπηρεσίες φόρτωσης και υποδοχής

Η μνήμη RAM συστήματος υποστηρίζει το λειτουργικό σύστημα, τη φόρτωση του μοντέλου, τα API, το tokenization, την παρακολούθηση και οποιοδήποτε μοντέλο ή κατάσταση προσωρινής μνήμης που κατοικεί σε CPU. Η ενσωμάτωση μοντέλων, ανακατατάξεων και διανυσματικών βάσεων δεδομένων προσθέτουν περαιτέρω ζήτηση εάν μοιράζονται τον κεντρικό υπολογιστή.

Μετρήστε τη μέγιστη μνήμη RAM κατά την εκκίνηση καθώς και τη σταθερή λειτουργία. Η μέθοδος φόρτωσης μπορεί να χρησιμοποιήσει προσωρινά αντίγραφα ή buffer που απουσιάζουν μετά την εκκίνηση.

Δεν υπάρχει ενιαία αναλογία RAM-VRAM που να ταιριάζει σε κάθε στοίβα συμπερασμάτων. Δημιουργήστε έναν προϋπολογισμό κεντρικού υπολογιστή από τον επιλεγμένο χρόνο εκτέλεσης, το σχέδιο εκφόρτωσης και τις υπηρεσίες υποστήριξης. Ένα μοντέλο που ταιριάζει στη GPU μπορεί να αποτύχει κατά τη φόρτωση επειδή η μνήμη κεντρικού υπολογιστή είναι ανεπαρκής.

CPU: Αντιστοιχίστε τους πυρήνες και το εύρος ζώνης μνήμης με την εργασία

Σε έναν διακομιστή που υποστηρίζεται από GPU, η CPU εξακολουθεί να χειρίζεται την επεξεργασία αιτημάτων, τη δημιουργία διακριτικών, τη δικτύωση και την εργασία εφαρμογής. Το συμπέρασμα μόνο για CPU καθιστά επίσης την εκτέλεση του επεξεργαστή και τη συμπεριφορά μνήμης συστήματος κεντρική για την απόδοση.

Test the intended thread count. Περισσότεροι πυρήνες δεν παράγουν αυτόματα αντίστοιχη αύξηση στο ποσοστό διακριτικών. Για συστήματα πολλαπλών υποδοχών, επιθεωρήστε την τοποθεσία της μνήμης και την τοποθέτηση GPU και συσκευών δικτύου.

Ένας αποκλειστικός διακομιστής μόνο για CPU μπορεί να είναι υποψήφιος για ομαδικές εργασίες, πειράματα ή εργασίες χαμηλής συχνότητας. Το αν είναι κατάλληλο για διαδραστική χρήση εξαρτάται από το μοντέλο και τον μετρημένο χρόνο απόκρισης.

Αποθήκευση NVMe: Συμπεριλάβετε εκδόσεις και ανάκτηση

Αποθήκευση προϋπολογισμού για περισσότερα από ένα ληφθέντα μοντέλα:

Προϋπολογισμός αποθήκευσης = ενεργά αρχεία μοντέλου + αρχεία επαναφοράς + τεχνουργήματα χρόνου εκτέλεσης + δεδομένα εφαρμογής + διατηρημένα αρχεία καταγραφής + ελεύθερος χώρος εργασίας

Προσθέστε διανυσματικά ευρετήρια και δεδομένα εγγράφων όταν το Retrieval μοιράζεται τον διακομιστή. Εξετάστε επίσης τις προσωρινές λήψεις και τα αρχεία μετατροπών.

Το τοπικό NVMe μπορεί να μειώσει τη φόρτωση μοντέλων και τις καθυστερήσεις πρόσβασης δεδομένων. Δεν εγγυάται υψηλότερο ποσοστό παραγωγής αφού όλα τα απαιτούμενα βάρη βρίσκονται στη μνήμη. Μετρήστε τον χρόνο ψυχρής εκκίνησης ξεχωριστά από την απόδοση ζεστού αιτήματος.

Networking: separate client traffic from model traffic

Μια θύρα δημόσιου δικτύου χειρίζεται συνδέσεις πελατών, λήψεις και μεταφορές. Οι συνδέσεις GPU-to-GPU και το δίκτυο μεταξύ κατανεμημένων κόμβων συμπερασμάτων εξυπηρετούν διαφορετικούς σκοπούς.

Μην χρησιμοποιείτε μια δημόσια προδιαγραφή θύρας 10 Gbps ως απόδειξη της απόδοσης συμπερασμάτων πολλαπλών κόμβων. Ελέγξτε την πραγματική τοπολογία, τη μέθοδο επικοινωνίας και τις απαιτήσεις χρόνου εκτέλεσης.

Για φωνητικές εφαρμογές, μετρήστε την πλήρη σειρά: εισαγωγή ομιλίας, μεταγραφή, απόκριση μοντέλου, δημιουργία ομιλίας και παράδοση. Ο χρόνος LLM στο πρώτο διακριτικό καλύπτει μόνο μέρος αυτής της διαδρομής.

Αντιστοιχίστε το χρόνο εκτέλεσης και τη σχεδίαση πολλαπλών GPU με τον φόρτο εργασίας

Επιλέξτε το χρόνο εκτέλεσης πριν λάβετε μια τελική απόφαση υλικού. Ελέγχει την υποστήριξη μοντέλων, την τοποθέτηση, την παρτίδα και τη διαχείριση μνήμης.

χρόνος εκτέλεσης Χρήσιμη διαδρομή αξιολόγησης Ελέγξτε πριν δεσμευτείτε
ολάμα Πρότυπες δοκιμές και απλούστερη ροή εργασίας σερβιρίσματος Υποστήριξη υλικού, περιβάλλον, παράλληλα αιτήματα και όρια φορτωμένου μοντέλου
λάμα.cpp Μοντέλα GGUF, συμπεράσματα CPU και μερική εκφόρτωση GPU build/backend, υποστήριξη τεχνουργημάτων, εκφορτωμένα επίπεδα και μετρούμενη ταχύτητα
vllm Μαζική εξυπηρέτηση και υποστηριζόμενες αναπτύξεις πολλαπλών GPU Συμβατότητα μοντέλου/μορφοποίησης, στοιχεία ελέγχου μνήμης, τοπολογία και λανθάνουσα κατάσταση υπό φόρτωση

Το Ollama τεκμηριώνει τις αυξημένες ανάγκες μνήμης με παράλληλα αιτήματα και μεγαλύτερο πλαίσιο. Το llama.cpp υποστηρίζει υβριδικά συμπεράσματα CPU/GPU. Αυτές είναι επιλογές για δοκιμή και όχι εγγυήσεις ενός συγκεκριμένου ποσοστού διακριτικών. 

Διαχωρίστε ένα μοντέλο ή εκτελέστε ξεχωριστά αντίγραφα;

Ο διαχωρισμός ενός μοντέλου σε GPU μπορεί να βοηθήσει όταν δεν χωράει σε μία συσκευή. Ο παραλληλισμός τανυστών διαιρεί τις υποστηριζόμενες λειτουργίες τανυστήρα. Ο παραλληλισμός του αγωγού διαιρεί τα στάδια ή τα επίπεδα του μοντέλου. Οι αναπτύξεις MOE μπορούν επίσης να χρησιμοποιούν παραλληλισμό ειδικών.

Τα αντίγραφα εξυπηρετούν διαφορετικό σκοπό. Κάθε αντίγραφο έχει τα δικά του βάρη και μπορεί να χειριστεί ένα ξεχωριστό σύνολο αιτημάτων. Τα αντίγραφα μπορούν να προσθέσουν χωρητικότητα σερβιρίσματος όταν ένα αντίγραφο ταιριάζει ήδη, αλλά δεν συνδυάζουν τη μνήμη τους για να χωρέσουν ένα μεγαλύτερο μοντέλο.

Δύο GPU δεν γίνονται μία αυτόματη ομάδα μνήμης. Η κατανομή ανά συσκευή, η επικοινωνία και η υποστήριξη χρόνου εκτέλεσης εξακολουθούν να περιορίζουν τη διάταξη. Το VLLM τεκμηριώνει πολλαπλές παράλληλες μεθόδους και εκτιμήσεις τοπολογίας.

Το NVLink δεν είναι καθολική απαίτηση. Συγκρίνετε την πραγματική υποστηριζόμενη διάταξη και σημειώστε την. Ούτε η προσθήκη δεύτερης GPU ούτε ο διπλασιασμός της συνολικής VRAM εγγυάται διπλάσια χρήσιμη απόδοση.

Συγκριτική αξιολόγηση του διακομιστή πριν από την παραγωγή

Δοκιμάστε τον στόχο εφαρμογής, όχι τον υψηλότερο αριθμό σε ένα στιγμιότυπο οθόνης αναφοράς.

Μετρικός Αυτό που σου λέει
Ώρα για το πρώτο διακριτικό ή TTFT Πόσο καιρό περιμένει ο πελάτης για την αρχική έξοδο του μοντέλου
διακριτική καθυστέρηση πόσο ομαλά φτάνει η έξοδος μετά την έναρξη της παραγωγής
Ποσοστό εξόδου ανά αίτημα Ταχύτητα παραγωγής με ένα αίτημα
συνολικός ρυθμός παραγωγής Συνολική έξοδος σε όλο τον διακομιστή
Αίτημα ολοκλήρωσης του χρόνου Πόσος χρόνος διαρκεί η πλήρης απάντηση
Σφάλματα και ανάπτυξη ουρών Εάν η ζήτηση υπερβαίνει τη εύχρηστη χωρητικότητα

Οι ορισμοί και τα όρια μέτρησης έχουν σημασία. Η καθοδήγηση αναφοράς της Nvidia διακρίνει τα ποσοστά διακριτικών σε επίπεδο χρήστη, την απόδοση του συστήματος και την καθυστέρηση απόκρισης. Διατηρήστε τους ορισμούς του επιλεγμένου εργαλείου με τα αποτελέσματα. 

Χρησιμοποιήστε ένα επαναλαμβανόμενο τεστ αποδοχής

  1. Διορθώστε τη διαμόρφωση. Record Model Revision, Artifact, Tokenizer, Runtime, Driver, GPU, CPU, RAM, Storage και Power Limits.
  2. Δοκιμάστε ένα αίτημα. Μετρήστε την ψυχρή και ζεστή συμπεριφορά με αντιπροσωπευτικά μήκη εισόδου και εξόδου.
  3. Αύξηση της ταυτόχρονης. Ελέγξτε τα κανονικά και τα μεγάλα αιτήματα σε πολλά επίπεδα ενεργού αιτήματος.
  4. Δοκιμαστικές εκρήξεις άφιξης. Αποστολή αιτημάτων με τον αναμενόμενο ρυθμό, ώστε οι ουρές και η συμπεριφορά υπερφόρτωσης να γίνονται ορατές.
  5. Ελέγξτε την ποιότητα. Επαναλάβετε τις δοκιμές εργασιών αφού αλλάξετε τις ρυθμίσεις ακρίβειας, περιβάλλοντος ή προβολής.
  6. Καταγράψτε τις συνθήκες διέλευσης. Συμπεριλάβετε λανθάνουσα κατάσταση, επιτυχή απόδοση, μνήμη, ποιότητα και απαιτούμενο απόθεμα.

Χρησιμοποιήστε αρκετές μετρημένες επαναλήψεις μετά από συνεχή προθέρμανση. Αναφέρετε αποτυχίες, μετρήσεις δειγμάτων και εξάπλωση των αποτελεσμάτων. Ένας αριθμός P99 που βασίζεται σε πολύ λίγα αιτήματα μπορεί να παραπλανήσει.

Εάν είναι ενεργοποιημένη η προσωρινή αποθήκευση προθέματος, δοκιμάστε τόσο επαναλαμβανόμενα όσο και νέα προθέματα. Εάν οι ενσωματώσεις ή η ανακατάταξη μοιράζονται το μηχάνημα, συμπεριλάβετέ τις στη δοκιμή φορτίου. Ένα συνθετικό αποτέλεσμα σύντομης προτροπής δεν μπορεί να δημιουργήσει χωρητικότητα μακροπρόθεσμου εγγράφου.

Χρησιμοποιήστε τα τρέχοντα εργαλεία και καταγράψτε τις εκδόσεις τους. Η τρέχουσα τεκμηρίωση Genai-Perf της Nvidia λέει ότι καταργείται σταδιακά και κατευθύνει νέες εργασίες συγκριτικής αξιολόγησης στην AIPERF. 

Όταν η μνήμη είναι ο περιοριστικός πόρος

Προσδιορίστε πρώτα εάν το πρόβλημα είναι η φόρτωση του μοντέλου, η κράτηση της προσωρινής μνήμης, η ανάπτυξη περιβάλλοντος ή άλλες υπηρεσίες. Στη συνέχεια, αλλάξτε έναν παράγοντα και δοκιμάστε ξανά.

Οι πιθανές επιλογές περιλαμβάνουν ένα μικρότερο μοντέλο, ένα υποστηριζόμενο κβαντισμένο τεχνούργημα, μικρότερα όρια περιβάλλοντος, λιγότερες ενεργές ακολουθίες ή άλλο σχέδιο τοποθέτησης. Αυτές οι επιλογές μπορούν να αλλάξουν την ποιότητα, την ουρά και την απόδοση.

Το VLLM τεκμηριώνει το μήκος του περιβάλλοντος και τα όρια ακολουθίας ως στοιχεία ελέγχου μνήμης και σημειώνει ότι η λήψη γραφήματος CUDA χρησιμοποιεί πρόσθετη μνήμη GPU. Αντιμετωπίστε τις ρυθμίσεις ως μέρος της μετρούμενης διαμόρφωσης. 

Συγκρίνετε το κόστος αυτο-φιλοξενίας με API και GPU cloud

Συγκρίνετε μόνο διαμορφώσεις που πληρούν την απαιτούμενη ποιότητα εργασίας και χρόνο απόκρισης. Ένας φθηνός διακομιστής που παράγει άχρηστες απαντήσεις δεν είναι εξοικονόμηση.

Για ενοικιαζόμενο αποκλειστικό διακομιστή, συμπεριλάβετε:

  • Χρεώσεις ενοικίασης και εγκατάστασης κατά τη διάρκεια της προγραμματισμένης περιόδου.
  • Χρεώσεις αποθήκευσης, μεταφοράς, λογισμικού και υποστήριξης.
  • Λειτουργικές εργασίες για ενημερώσεις, παρακολούθηση και περιστατικά.
  • χωρητικότητα που απαιτείται για τη συντήρηση ή το χειρισμό αστοχίας.

Μην προσθέτετε ξανά ρεύμα όταν το περιλαμβάνει ήδη η χρέωση ενοικίασης. Για ιδιόκτητο υλικό, χρησιμοποιήστε ένα ξεχωριστό μοντέλο ιδιοκτησίας που καλύπτει την αγορά, την ενέργεια, τις εγκαταστάσεις και την υποστήριξη.

Κόστος ανά αποδεκτό αίτημα = πλήρες κόστος κατά τη διάρκεια μιας περιόδου ÷ Αποδεκτά αιτήματα κατά τη διάρκεια αυτής της περιόδου

Για παράδειγμα, ένα φανταστικό πλήρες μηνιαίο κόστος $1.200 διαιρούμενο με 600.000 αποδεκτά αιτήματα δίνει $0.002 ανά αποδεκτό αίτημα. Αυτός είναι ένας υπολογισμός διδασκαλίας, όχι μια atal προσφορά ή μετρημένη ικανότητα σερβιρίσματος.

Μην υποθέσετε ότι δέκα φορές η ζήτηση ταιριάζει στον ίδιο διακομιστή την ίδια ώρα απόκρισης. Το κόστος αλλάζει όταν αλλάζει η χωρητικότητα, το προσωπικό ή το αποθεματικό.

Για συγκρίσεις API, διακριτικά εισόδου τιμών, διακριτικά εξόδου, προσωρινή αποθήκευση και άλλες κατηγορίες που χρεώνονται ξεχωριστά. Για τις GPU cloud, περιλαμβάνουν ώρες λειτουργίας, συνδεδεμένο χώρο αποθήκευσης, μεταφορές και απαιτούμενες υποστηρικτικές υπηρεσίες.

Δεν υπάρχει καθολικός όγκος διακριτικών στον οποίο η αυτο-φιλοξενία γίνεται φθηνότερη. Η χρήση, η ποιότητα του μοντέλου, το μήκος αιτήματος, το υλικό και η λειτουργική ευθύνη καθορίζουν το αποτέλεσμα.

Ελέγξτε τα όρια ανάπτυξης πριν παραγγείλετε

Η προσαρμογή του υλικού είναι ένα μέρος της ετοιμότητας. Επιβεβαιώστε την ακριβή άδεια μοντέλου και την επιτρεπόμενη χρήση. Ελέγξτε τη συμβατότητα προγράμματος οδήγησης, χρόνου εκτέλεσης και τεχνουργήματος.

Ελέγξτε την πρόσβαση στο τελικό σημείο συμπερασμάτων. Ορίστε τα όρια μεγέθους αιτήματος, εξόδου, ουράς και ρυθμού. Καθορίστε κανόνες καταγραφής και διατήρησης. Ελέγξτε τις εξερχόμενες συνδέσεις, τις εξωτερικές ενσωματώσεις, τα εργαλεία και τα εναλλακτικά API εάν τα δεδομένα πρέπει να παραμείνουν μέσα σε ένα συγκεκριμένο όριο.

Ένας ενοικιαζόμενος αποκλειστικός διακομιστής δεν βρίσκεται αυτόματα σε εγκαταστάσεις ή με διάκενο αέρα. Η αυτο-φιλοξενία σάς δίνει τον έλεγχο των επιλογών ανάπτυξης. Δεν αποδεικνύει ότι κάθε προτροπή παραμένει ιδιωτική σε κάθε διαμόρφωση.

Σχεδιάστε ενημερώσεις μοντέλων, αρχεία επαναφοράς, παρακολούθηση και ανάκτηση. Εάν η υπηρεσία πρέπει να συνεχιστεί κατά τη διάρκεια μιας αποτυχίας κεντρικού υπολογιστή, η αρχιτεκτονική χρειάζεται πλεονάζουσα χωρητικότητα εκτός αυτού του κεντρικού υπολογιστή. Πολλαπλές GPU μέσα σε έναν διακομιστή δεν παρέχουν δεύτερο κεντρικό υπολογιστή.

Συχνές ερωτήσεις

Μπορώ να φιλοξενήσω μόνος μου ένα LLM χωρίς GPU;

ναι. Οι υποστηριζόμενοι χρόνοι εκτέλεσης μπορούν να εκτελούν μοντέλα σε CPU και ορισμένοι μπορούν να μοιράσουν την εργασία μεταξύ CPU και GPU. Ξεκινήστε με ένα μοντέλο και μορφή που ταιριάζει στο σύστημα RAM και, στη συνέχεια, δοκιμάστε το χρόνο απόκρισης. Τα συμπεράσματα μόνο για CPU μπορούν να ταιριάζουν σε εργασίες παρτίδας ή χαμηλής συχνότητας, αλλά πρέπει να μετρηθεί η διαδραστική καταλληλότητα.

Είναι αρκετά 24 GB VRAM για διακομιστή LLM;

Εξαρτάται από το τεχνούργημα, το πλαίσιο, τα ενεργά αιτήματα και το χρόνο εκτέλεσης. Πολλά συμπαγή κβαντισμένα μοντέλα μπορεί να ταιριάζουν, αλλά η προσαρμογή της μνήμης δεν δημιουργεί παραγωγική ικανότητα. Τα εξιδανικευμένα βάρη τεσσάρων bit ενός ονομαστικού μοντέλου 70B από μόνα τους απαιτούν 35 GB, τα οποία ξεπερνούν τα 24 GB διαθέσιμης VRAM.

Πόση μνήμη χρειάζεται ένα μοντέλο 70B;

Τα εξιδανικευμένα δάπεδα βάρους είναι 140 GB στα 16 bit, 70 GB σε οκτώ bit και 35 GB στα τέσσερα bit. Προσθέστε επιβάρυνση μορφής, προσωρινή μνήμη, μνήμη εργασίας και κράτηση. Η τοποθέτηση σε GPU και μνήμη κεντρικού υπολογιστή εξαρτάται από το χρόνο εκτέλεσης.

Μπορούν δύο GPU 24 GB να αντικαταστήσουν μία μεγαλύτερη GPU;

Μερικές φορές, εάν το μοντέλο και ο χρόνος εκτέλεσης υποστηρίζουν έναν κατάλληλο διαχωρισμό. Δεν ισοδυναμούν αυτόματα με μια μεγαλύτερη συσκευή. Η επικοινωνία, η επιβάρυνση ανά συσκευή, η τοποθέτηση της κρυφής μνήμης και η τοπολογία διακομιστή επηρεάζουν τόσο την προσαρμογή όσο και την ταχύτητα.

Γιατί το μοντέλο φορτώνει αλλά αποτυγχάνει με πολλά αιτήματα;

Η φόρτωση ελέγχει εάν ταιριάζει η αρχική κατανομή του μοντέλου. Πρόσθετα αιτήματα μπορούν να αυξήσουν τη ζήτηση προσωρινής μνήμης και μνήμης εργασίας. Μετρήστε το ακριβές σημείο αποτυχίας και ελέγξτε το πλαίσιο, τα όρια ενεργής ακολουθίας και άλλες φορτωμένες υπηρεσίες πριν αλλάξετε το υλικό.

Πόση μνήμη RAM συστήματος χρειάζεται ένας διακομιστής συμπερασμάτων;

Προϋπολογισμός για κορυφές εκκίνησης, το λειτουργικό σύστημα, το χρόνο εκτέλεσης, τις υπηρεσίες API, την εκφόρτωση CPU και τυχόν στοιχεία ανάκτησης. Μετρήστε τόσο τη φόρτωση όσο και τη σταθερή λειτουργία. Δεν υπάρχει σταθερή απαίτηση συστήματος RAM που να προκύπτει μόνο από τον αριθμό παραμέτρων ή τη μνήμη GPU.

Είναι ένας αποκλειστικός διακομιστής φθηνότερος από ένα API;

Μπορεί να είναι, αλλά συγκρίνετε το πλήρες κόστος σε ισοδύναμη ποιότητα εργασίας και χρόνο απόκρισης. Η χαμηλή ή ακανόνιστη ζήτηση μπορεί να αφήσει το ενοικιαζόμενο υλικό σε αδράνεια. Η διαρκής ζήτηση μπορεί να βελτιώσει τη χρήση, υπό την προϋπόθεση ότι ο επιλεγμένος διακομιστής μπορεί να το χειριστεί εντός του στόχου υπηρεσίας.

Συνιστάται τα επόμενα βήματα

Επιλέξτε υλικό από ένα τεκμηριωμένο προφίλ αιτήματος και όχι μόνο τον αριθμό παραμέτρων. Υπολογίστε τα βάρη και την προσωρινή μνήμη ξεχωριστά, προσθέστε τον πλήρη προϋπολογισμό διακομιστή και δοκιμάστε τις διαμορφώσεις που παραμένουν.

Πριν από τη διάπραξη:

  1. Διορθώστε την αναθεώρηση του μοντέλου, το τεχνούργημα, το πλαίσιο και τον στόχο ενεργού αιτήματος.
  2. Υπολογίστε τον προϋπολογισμό μνήμης χρησιμοποιώντας συνεπείς μονάδες.
  3. Επιβεβαιώστε την υποστήριξη χρόνου εκτέλεσης και την τοποθέτηση ανά συσκευή.
  4. Δοκιμαστική καθυστέρηση, απόδοση, ποιότητα και συμπεριφορά αστοχίας.
  5. Συγκρίνετε το πλήρες κόστος κατά την ίδια περίοδο.

Για να συζητήσετε μια κατάλληλη διαμόρφωση, αναθεωρήστε Atal Networks αποκλειστικοί διακομιστές και μοιραστείτε το μοντέλο, το προφίλ αιτήματος, την εκτίμηση μνήμης, την τοποθεσία και τις απαιτήσεις λογισμικού. Επιβεβαιώστε τη διαθεσιμότητα της GPU και τις υποστηριζόμενες επιλογές για τη συγκεκριμένη προσφορά πριν την παραγγελία.

πηγές και σημειώσεις υπολογισμού

Οι πηγές ελέγχθηκαν στις 28 Οκτωβρίου 2026. Οι διαμορφώσεις μοντέλων, η υποστήριξη χρόνου εκτέλεσης και η συμπεριφορά λογισμικού μπορούν να αλλάξουν, επομένως καταγράψτε την έκδοση που χρησιμοποιείται για μια ανάπτυξη.

Οι πίνακες βάρους χρησιμοποιούν εξιδανικευμένους αριθμούς bit και δεκαδικό GB. Τα σχήματα κρυφής μνήμης KV χρησιμοποιούν δυαδικό GIB και τις δηλωμένες υποθέσεις πλήρους προσοχής. Η κατανομή βάρους 5 GIB, η είσοδος μνήμης εργασίας 2 GIB, το απόθεμα 2 GIB και το παράδειγμα δολαρίου είναι φανταστικές εισροές διδασκαλίας. Δεν είναι μετρήσεις, τιμές ή αξιώσεις χωρητικότητας.

Είστε έτοιμοι να αναβαθμίσετε τους γυμνούς μεταλλικούς διακομιστές σας;

Ενωθείτε με 36.000+ επιχειρήσεις που επιλέγουν φιλοξενία χωρίς ρίσκο.

Είστε έτοιμοι να αναπτύξετε τον διακομιστή VPS σας;

Εκκινήστε τη γρήγορη, ασφαλή και επεκτάσιμη φιλοξενία VPS σήμερα.
Κύλιση στην κορυφή
Seraphinite AcceleratorBannerText_Seraphinite Accelerator
Turns on site high speed to be attractive for people and search engines.