...

استضافة ذاتية LLM على خادم مخصص: دليل تحجيم الأجهزة

دليل تحجيم الأجهزة ذاتية الاستضافة LLM 1

لاستضافة LLM ذاتيًا على خادم مخصص ، قم بقياس الجهاز للنموذج وطول السياق والطلبات النشطة وهدف وقت الاستجابة. ميزانية لأوزان الطراز ، وذاكرة الطلب ، ونفقات التشغيل ، وذاكرة الوصول العشوائي للنظام ، وعمل وحدة المعالجة المركزية ، والتخزين. اجتاز النموذج الذي يتم تحميله بنجاح فحصًا للذاكرة ، وليس اختبارًا لسعة الإنتاج.

تصبح الفجوة واضحة خلال ساعة مزدحمة. طلب واحد قصير يعمل. يقوم العديد من المستخدمين بإرسال مستندات طويلة ، وتنمو قائمة انتظار الطلبات ، ونفد ذاكرة الخادم نفسه أو يستغرق وقتًا طويلاً للاستجابة.

تجنب هذه المشكلة بالتخطيط بهذا الترتيب:

  1. حدد النموذج الدقيق وملف تعريف الطلب.
  2. حساب ذاكرة الوزن وذاكرة التخزين المؤقت بشكل منفصل.
  3. ميزانية للخادم الكامل والخدمات الداعمة.
  4. اختبر حركة مرور واقعية مقابل وقت الاستجابة والجودة.
  5. قارن التكاليف الكاملة للتكوينات التي تمر.

ابدأ بالنموذج واطلب الملف الشخصي

يبدأ حجم الخادم بما يجب أن يفعله التطبيق. "تشغيل LLM لفريقنا" واسع جدًا لإنتاج توصية أجهزة مفيدة.

سجل هذه المدخلات قبل مقارنة الخوادم:

مساهمة ماذا تسجل
نموذج الاسم الدقيق والمراجعة والهندسة المعمارية والترخيص
تنسيق الوزن FP16 أو BF16 أو قطعة أثرية محددة
السياق أعداد الرموز العادية والحد الأقصى للموجه بالإضافة إلى الإخراج
حركة المرور الأجيال النشطة ومعدل الوصول وسلوك الانفجار
الأداء وقت الرمز الأول ووقت الإنجاز المقبول
جودة المهام التي يجب أن يكملها النموذج بشكل صحيح
خدمات أخرى التضمين وإعادة الترتيب والبحث في المتجهات وواجهات برمجة التطبيقات والمراقبة
عمليات عملية التحديث واحتياجات الاسترداد واحتياطي النمو

يتضمن السياق إرشادات النظام وسجل الدردشة والنص المسترجع وإدخال المستخدم والمخرجات التي تم إنشاؤها. يمكن أن ينتج سؤال قصير إدخال نموذج طويل إذا أضاف التطبيق عدة مستندات.

أيضًا فصل المستخدمين عن الطلبات النشطة. قد يكون للخدمة التي تضم 100 مستخدم مسجل بضعة أجيال تعمل في وقت واحد. يجوز للوكيل الذي يستخدمه شخص واحد إصدار عدة طلبات أثناء مهمة واحدة.

للحصول على تعريف لعملية التقديم ، انظر ماذا يعني استدلال الذكاء الاصطناعي.

اجعل الاستدلال منفصلاً عن التدريب

يغطي هذا الدليل الاستدلال: استخدام نموذج مدرب بالفعل لإنتاج إجابة. يمكن أن يتطلب التدريب والضبط الدقيق ذاكرة إضافية للتدرجات وحالة المحسن والتنشيط ، اعتمادًا على الطريقة.

لا تستخدم جدول تحجيم الاستدلال كتوصية تدريبية. إذا كان يجب على نفس الجهاز خدمة المستخدمين وتشغيل مهام ضبط دقيقة ، فاختبر الجدول الزمني المدمج أو افصل أعباء العمل هذه.

احسب ذاكرة وزن النموذج أولاً

أوزان النموذج هي القيم العددية المخزنة المستخدمة أثناء الاستدلال. توفر بصمة ذاكرتهم نقطة البداية لميزانية الأجهزة.

ذاكرة الوزن المثالية بالبايت = عدد المعلمات × البتات لكل وزن ÷ 8

لنموذج اسمي ثمانية مليارات معلمة عند 16 بت:

8,000,000,000 × 16 ÷ 8 = 16,000,000 بايت, أو 16 جيجابايت

عند أربع بتات مثالية لكل وزن ، يعطي نفس الحساب 4 جيجابايت.

حجم النموذج الاسمي أرضية الوزن FP16 / BF16 8 بت وزن الأرضية 4- بت وزن الأرضية
8 ب 16 جيجابايت 8 جيجابايت 4 جيجابايت
14 ب 28 جيجابايت 14 جيجابايت 7 غيغابايت
32 ب 64 جيجابايت 32 جيجا 16 جيجابايت
70 ب 140 جيجا 70 جيجا 35 جيجا

تغطي هذه الأرقام الأوزان المثالية فقط. وهي تستبعد ذاكرة التخزين المؤقت للطلب ، والمخازن المؤقتة للعمل ، والبيانات الوصفية للكمية ، وتخصيصات وقت التشغيل الأخرى. قد يحتوي النموذج الدقيق أيضًا على معلمات أكثر مما يوحي به اسمه المستدير.

لماذا يحتاج ملف 4-bit إلى أكثر من الحساب الخام

يمكن أن تحتوي قطعة أثرية كمية على قيم المقياس والبيانات الوصفية والموترات المخزنة في دقة أخرى. يمكن أن يختلف حجمه الذي تم تنزيله وبصمة الذاكرة المحملة.

قم بتسجيل الأداة الدقيقة ، ثم افحص الذاكرة بعد تحميلها في وقت التشغيل المقصود. لا تعامل كل تنسيق يسمى "4 بت" على أنه قابل للتبديل.

لا يؤدي تقليل دقة الوزن أيضًا إلى تقليل دقة ذاكرة التخزين المؤقت للطلب تلقائيًا. هذه إعدادات منفصلة مع توافق منفصل وفحوصات الجودة.

استخدم إجمالي المعلمات لتخطيط الوزن في وزارة التربية والتعليم

ينشط نموذج مزيج من الخبراء ، أو نموذج MOE ، جزءًا فقط من شبكته الخبيرة لكل رمز. يمكن أن يقلل ذلك من الحساب بالنسبة لاستخدام كل خبير ، لكن الأوزان الأخرى لا تزال بحاجة إلى خطة تحديد المستوى.

للحصول على الإقامة الكاملة ، ميزانية للنموذج المخزن ، وليس فقط عدد المعلمات النشطة. يمكن أن يتغير وضع التفريغ والتوزيع الموزع في مكان استخدام الذاكرة ، لكنهم يقدمون تكاليف النقل والتنفيذ الخاصة بهم.

حافظ على GB و GIB متسقين

واحد جيجابايت هو مليار بايت. واحد GIB هو 1،073،741،824 بايت. حمولة 4 جيجا بايت حوالي 3.73 جيجابايت.

قم بتحويل القيم إلى نفس الوحدة قبل طرح ذاكرة النموذج من ميزانية الجهاز. استخدم الذاكرة الفعلية المتاحة التي تم الإبلاغ عنها للنشر بدلاً من خلط ملصق المنتج مع قياس تم الإبلاغ عنه بشكل مختلف.

إضافة KV ذاكرة التخزين المؤقت وطول السياق والطلبات المتزامنة

ذاكرة التخزين المؤقت ذات القيمة الرئيسية ، والتي تسمى عادةً KV ذاكرة التخزين المؤقت، يخزن بيانات الانتباه المستخدمة أثناء إنشاء النموذج للنص. يمكن مشاركة أوزان النموذج عبر الطلبات داخل مثيل نموذج واحد ، لكن التسلسلات النشطة تحتاج أيضًا إلى حالة الطلب.

هذا هو السبب في أن السياقات الأطول والطلبات الأكثر نشاطًا يمكن أن تستهلك الذاكرة حتى عندما لا يتغير النموذج المحمل.

بالنسبة إلى وحدة فك التشفير التقليدية بنفس تخطيط الانتباه الكامل في كل طبقة ، قم بتقدير حمولة ذاكرة التخزين المؤقت المنطقية على النحو التالي:

KV بايت ≈ 2 × طبقات × رؤوس KV × بُعد الرأس × بايت لكل قيمة مخبأة × إجمالي الرموز المخزنة مؤقتًا

عامل حسابين للمفاتيح والقيم. إجمالي الرموز المخزنة مؤقتًا يعني المجموع عبر التسلسلات النشطة. إذا كانت جميع التسلسلات لها نفس الطول ، فاضرب هذا الطول في عدد التسلسلات النشطة.

هذه ليست صيغة عالمية لكل نموذج. يمكن أن يؤدي انتباه النافذة المنزلقة ، وبنيات ذاكرة التخزين المؤقت الأخرى ، وتحديد تكميم ذاكرة التخزين المؤقت ، وقواعد تخصيص وقت التشغيل إلى تغيير الحساب. يعانق الوجه استراتيجيات ذاكرة التخزين المؤقت مع سلوك ذاكرة مختلف ، بما في ذلك حدود النافذة المنزلقة وطبقات الانتباه المقطوع. 

مثال مخبأ عملي

Meta’s Llama 3.1 8B configuration uses 32 layers, 32 attention heads, eight KV heads, and a hidden dimension of 4,096. The head dimension is 4,096 ÷ 32 = 128.

افترض ذاكرة تخزين مؤقت بـ KV ثنائية البايت ، والاهتمام الكامل ، وعدم مشاركة البادئة:

2 × 32 × 8 × 128 × 2 = 131.072 بايت لكل رمز مخبأ لكل تسلسل

هذا يساوي 128 كيلو بايت. 

الرموز المخزنة مؤقتًا لكل تسلسل التسلسلات النشطة الحمولة المنطقية المحسوبة
8,192 1 1 جيب
8,192 4 4 جيب
32,768 4 16 جيب
32,768 8 32 جيب

النموذج لم يتغير ، لكن طلب تغييرات الذاكرة بشكل حاد. هذا هو السبب في أن إضافة نسبة مئوية ثابتة إلى حجم النموذج لا يمكن أن يفسر كل سياق وهدف متزامن.

هذه هي الحمولات المحسوبة ، وليس تخصيصات GPU المقاسة. قد يحجز وقت التشغيل كتل ذاكرة التخزين المؤقت مسبقًا أو يحتفظ بتخصيصات لإعادة الاستخدام. لذلك قد تختلف الذاكرة التي تم الإبلاغ عنها بواسطة أداة المراقبة عن حمولة الرمز المميز المباشر.

بناء ميزانية ذاكرة GPU كاملة

للحصول على نشر مقيم في GPU بالكامل، ابدأ بـ:

ميزانية ذاكرة وحدة معالجة الرسومات = أوزان محملة + تخصيص كيلو فولت + ذاكرة تشغيل وقت التشغيل + احتياطي التشغيل

استخدم قيم وقت التشغيل المقاسة حيثما أمكن ذلك. تجنب حساب نفس تجمع ذاكرة التخزين المؤقت المحجوز مرتين.

مثال: مساعد ذو سياق قصير مقابل خدمة مشتركة

ما يلي هو سيناريو التدريس، وليس معيار Atal. افترض:

  • الأوزان الكمية المحملة: 5 جيجا بايت.
  • ذاكرة عمل أخرى في وقت التشغيل: 2 جيجابايت.
  • احتياطي التشغيل: 2 جيجابايت.
  • تخطيط ذاكرة التخزين المؤقت من مثال Llama 3.1 8b أعلاه.
عنصر الذاكرة مساعد السياق القصير خدمة مشتركة ذات سياق أطول
التسلسلات النشطة 1 4
الرموز المخزنة مؤقتًا لكل تسلسل 8,192 32,768
الأوزان المحملة ، المفترض 5 جيب 5 جيب
الحمولة المنطقية KV المحسوبة 1 جيب 16 جيب
ذاكرة عاملة أخرى ، مفترضة 2 جيب 2 جيب
احتياطي ، يفترض 2 جيب 2 جيب
مجموع التخطيط المشترك 10 جيب 25 جيب

في ظل هذه الافتراضات ، يقوم الملف الشخصي الأول بمسح 16 جيجابايت من ميزانية الذاكرة. والثاني يتجاوز ميزانية 24 جيجابايت. لا تثبت أي من النتيجة الإنتاجية أو وقت الاستجابة.

الأرقام الاحتياطية والنفقات العامة هي مدخلات لهذا المثال ، وليست توصيات عامة. استبدلها بقياسات من وقت التشغيل والإعدادات الدقيقة قبل اختيار الأجهزة.

ماذا عن طراز 70B؟

يحتوي طراز 70B الاسمي على أرضية مثالية بأربعة بت بوزن 35 جيجابايت. لا يمكن أن يكون مقيمًا بالكامل في وحدة معالجة الرسومات في حدود 24 جيجابايت من الذاكرة المتاحة ، حتى قبل ذاكرة التخزين المؤقت والنفقات العامة.

تشتمل المسارات المحتملة على وحدة معالجة رسومات ذات ذاكرة أكبر ، أو وضع مدعوم بوحدة معالجة الرسومات المتعددة ، أو تفريغ وحدة المعالجة المركزية ، أو نموذج أصغر يجتاز اختبار جودة المهمة. جهاز 48 جيجابايت ليس توصية شاملة لكل عبء عمل 70 ب. لا يزال السياق والطلبات النشطة والنفقات العامة للتنسيق وسلوك وقت التشغيل مهمًا.

اختر أجهزة GPU بأكثر من VRAM

ذاكرة كافية تجعل التكوين ممكنًا. لا يجعل التكوين سريعًا بدرجة كافية.

قارن المرشحين باستخدام نفس عبء العمل:

فحص الأجهزة ماذا تؤكد
متوفر VRAM التخصيص الفعلي بعد الأقسام والعمليات الأخرى
دعم وقت التشغيل معمارية GPU وبرنامج التشغيل والخلفية ودعم الطراز
تنسيقات الوزن وذاكرة التخزين المؤقت النواة المدعومة وسلوك الذاكرة
عرض النطاق الترددي للذاكرة الأداء في إطار النموذج المحدد ومزيج الطلبات
رابط يربط شيء بشيء طوبولوجيا الجهاز للطريقة المتوازية المختارة
القوة والتبريد حدود التشغيل المستدامة في الخادم
شروط الخدمة الموارد المخصصة أو المشتركة والدعم وعملية الاستبدال

تجنب اختيار وحدة معالجة الرسومات من جدول مستخدم عام لكل بطاقة. عشرة طلبات قصيرة وعشرة طلبات مستندات طويلة هي أعباء عمل مختلفة.

احتفظ بمراجعة النموذج المختصرة ، وإصدار وقت التشغيل ، وحدود المطالبة / الإخراج ، وهدف الطلب النشط بجانب كل خيار جهاز. خلاف ذلك ، من الصعب إعادة إنتاج المقارنة.

حجم نظام ذاكرة الوصول العشوائي ووحدة المعالجة المركزية والتخزين والشبكات

ذاكرة الوصول العشوائي للنظام: ميزانية للتحميل والخدمات المضيفة

يدعم نظام ذاكرة الوصول العشوائي (RAM) نظام التشغيل ، وتحميل النموذج ، وواجهات برمجة التطبيقات ، والرمز المميز ، والمراقبة ، وأي طراز مقيم في وحدة المعالجة المركزية أو حالة ذاكرة التخزين المؤقت. يضيف التضمين ، وإعادة الترتيب ، وقواعد بيانات المتجهات مزيدًا من الطلب إذا كانوا يشاركون المضيف.

قم بقياس ذروة ذاكرة الوصول العشوائي أثناء بدء التشغيل وكذلك التشغيل الثابت. يمكن أن تستخدم طريقة التحميل نسخًا مؤقتة أو مخازن مؤقتة غائبة بعد بدء التشغيل.

لا توجد نسبة واحدة من ذاكرة الوصول العشوائي إلى VRAM تناسب كل مكدس استدلال. أنشئ ميزانية مضيفة من وقت التشغيل المحدد وخطة التفريغ والخدمات الداعمة. يمكن أن يفشل النموذج الذي يناسب وحدة معالجة الرسومات أثناء التحميل لأن ذاكرة المضيف غير كافية.

وحدة المعالجة المركزية: تطابق النوى وعرض النطاق الترددي للذاكرة بالمهمة

على خادم مدعوم من GPU ، لا تزال وحدة المعالجة المركزية تتعامل مع معالجة الطلبات والرمز المميز والشبكات والعمل التطبيق. يجعل الاستدلال الخاص بوحدة المعالجة المركزية أيضًا تنفيذ المعالج وسلوك ذاكرة النظام مركزيًا للأداء.

اختبر عدد الخيط المقصود. لا تنتج المزيد من النوى تلقائيًا زيادة مطابقة في معدل الرمز المميز. بالنسبة للأنظمة متعددة المقابس ، افحص موقع الذاكرة ووضع وحدات معالجة الرسومات وأجهزة الشبكة.

يمكن أن يكون الخادم المخصص لوحدة المعالجة المركزية فقط مرشحًا للوظائف المجمعة أو التجارب أو المهام منخفضة التردد. يعتمد ما إذا كان مناسبًا للاستخدام التفاعلي على النموذج ووقت الاستجابة المقاس.

تخزين NVMe: تضمين الإصدارات والاسترداد

تخزين الميزانية لأكثر من نموذج تم تنزيله:

ميزانية التخزين = ملفات النماذج النشطة

أضف فهارس المتجهات وبيانات المستندات عند مشاركة الاسترجاع في الخادم. ضع في اعتبارك أيضًا التنزيلات المؤقتة وملفات التحويل.

يمكن لـ NVMe المحلية تقليل تحميل النموذج وتأخيرات الوصول إلى البيانات. لا يضمن معدل توليد أعلى بعد أن تكون جميع الأوزان المطلوبة مقيمة في الذاكرة. قم بقياس وقت البدء البارد بشكل منفصل عن أداء الطلب الدافئ.

الشبكات: افصل حركة مرور العميل عن حركة المرور النموذجية

يتعامل منفذ الشبكة العامة مع اتصالات العميل وتنزيلاته ونقله. تخدم روابط GPU إلى GPU والشبكة بين عقد الاستدلال الموزعة أغراضًا مختلفة.

لا تستخدم مواصفات منفذ 10 جيجابت في الثانية كدليل على أداء الاستدلال متعدد العقد. تحقق من الهيكل الفعلي وطريقة الاتصال ومتطلبات وقت التشغيل.

بالنسبة للتطبيقات الصوتية ، قم بقياس المنعطف الكامل: إدخال الكلام ، والنسخ ، واستجابة النموذج ، وإنشاء الكلام ، والتسليم. يغطي وقت LLM إلى الرمز المميز الأول جزءًا فقط من هذا المسار.

تطابق وقت التشغيل وتصميم وحدات معالجة الرسومات المتعددة مع عبء العمل

اختر وقت التشغيل قبل اتخاذ قرار نهائي للجهاز. يتحكم في دعم النموذج ، والتنسيب ، والتجميع ، وإدارة الذاكرة.

وقت التشغيل مسار تقييم مفيد تحقق قبل الالتزام
أولام تجارب نموذجية وسير عمل أبسط دعم الأجهزة والسياق والطلبات المتوازية وحدود النموذج المحملة
llama.cpp نماذج GGUF واستدلال وحدة المعالجة المركزية وإلغاء تحميل وحدة معالجة الرسومات الجزئية البناء / الخلفية ، دعم القطع الأثرية ، الطبقات المفرغة ، والسرعة المقاسة
vllm خدمة مجمعة ودعم عمليات نشر متعددة وحدات معالجة الرسومات توافق الموديل/التنسيق وعناصر التحكم في الذاكرة والطوبولوجيا والكمون تحت الحمل

توثق علامة العلماء احتياجات الذاكرة المتزايدة مع الطلبات المتوازية والسياق الأطول. يدعم Llama.cpp الاستدلال الهجين لوحدة المعالجة المركزية / وحدة معالجة الرسومات. هذه خيارات للاختبار ، وليست ضمانات لمعدل رمز محدد. 

تقسيم نموذج واحد أو تشغيل نسخ متماثلة منفصلة؟

يمكن أن يساعد تقسيم نموذج عبر وحدات معالجة الرسومات عندما لا يتناسب مع جهاز واحد. موازاة موتر يقسم عمليات الموتر المدعومة ؛ يقسم توازي خط الأنابيب مراحل أو طبقات النموذج. قد تستخدم عمليات نشر وزارة التربية والتعليم أيضًا توازي الخبراء.

تخدم النسخ المتماثلة غرضًا مختلفًا. تحتوي كل نسخة على أوزانها الخاصة ويمكنها التعامل مع مجموعة منفصلة من الطلبات. يمكن أن تضيف النسخ المتماثلة سعة الخدمة عندما تكون نسخة واحدة مناسبة بالفعل ، لكنها لا تجمع ذاكرتها لتحتفظ بنموذج أكبر.

لا تصبح وحدتا معالجة الرسومات تجمع ذاكرة تلقائي واحد. لا يزال التخصيص والاتصال ودعم وقت التشغيل لكل جهاز يقيد التخطيط. يوثق VLLM طرقًا متوازية متعددة واعتبارات طوبولوجية.

NVLink ليس مطلبًا عالميًا. قارن بين التخطيط المدعوم الفعلي وقياسه. لا يضمن عدم إضافة وحدة معالجة رسومات ثانية أو مضاعفة إجمالي VRAM ضعف الإنتاجية المفيدة.

قياس الخادم قبل الإنتاج

اختبر هدف التطبيق ، وليس أعلى رقم في لقطة شاشة معيارية.

متري ماذا يخبرك
حان الوقت للرمز الأول ، أو TTFT كم من الوقت ينتظر العميل إخراج النموذج الأولي
زمن انتقال الرمز المميز كيف يصل الإخراج بسلاسة بعد بدء التوليد
معدل الإخراج لكل طلب سرعة التوليد التي يمر بها طلب واحد
معدل الانتاج الكلي إجمالي الناتج عبر الخادم
طلب وقت الانتهاء كم من الوقت تستغرق الاستجابة الكاملة
أخطاء ونمو الطابور ما إذا كان الطلب يتجاوز السعة القابلة للاستخدام

التعريفات وحدود القياس مهمة. تميز إرشادات Nvidia المعيارية معدلات الرمز المميز على مستوى المستخدم ، وإنتاجية النظام ، ووقت استجابة الاستجابة. احتفظ بتعريفات الأداة المحددة بالنتائج. 

استخدم اختبار القبول القابل للتكرار

  1. إصلاح التكوين. مراجعة نموذج السجل ، والقطعة الأثرية ، والرمز المميز ، ووقت التشغيل ، وبرنامج التشغيل ، ووحدة معالجة الرسومات ، ووحدة المعالجة المركزية ، وذاكرة الوصول العشوائي ، والتخزين ، وحدود الطاقة.
  2. اختبار طلب واحد. قياس السلوك البارد والدافئ مع أطوال المدخلات والمخرجات التمثيلية.
  3. زيادة التزامن. تحقق من الطلبات العادية والطويلة في العديد من مستويات الطلب النشط.
  4. اختبارات وصول رشقات نارية. أرسل الطلبات بالسعر المتوقع حتى تصبح قوائم الانتظار وسلوك التحميل الزائد مرئية.
  5. تحقق من الجودة. كرر اختبارات المهام بعد تغيير الدقة أو السياق أو إعدادات الخدمة.
  6. سجل شروط التمرير. قم بتضمين الكمون والإنتاجية الناجحة والذاكرة والجودة والحجز المطلوب.

استخدم العديد من التكرارات المقاسة بعد الإحماء المستمر. الإبلاغ عن حالات الفشل ، وعدد العينات ، وانتشار النتائج. يمكن أن يكون رقم P99 المستند إلى عدد قليل جدًا من الطلبات مضللًا.

إذا تم تمكين التخزين المؤقت للبادئة ، فاختبر كل من البادئات المتكررة والجديدة. إذا كان التضمين أو إعادة ترتيب مشاركة الجهاز ، قم بتضمينها في اختبار التحميل. لا يمكن للنتيجة الاصطناعية القصيرة أن تؤسس قدرة وثيقة طويلة.

استخدم الأدوات الحالية وسجل إصداراتها. تقول وثائق GENAI-PERF الحالية من NVIDIA إنه يتم التخلص التدريجي من العمل وتوجه أعمال قياس الأداء الجديدة إلى AIPERF. 

عندما تكون الذاكرة هي المورد المحدد

حدد أولاً ما إذا كانت المشكلة تكمن في تحميل النموذج أو حجز ذاكرة التخزين المؤقت أو نمو السياق أو الخدمات الأخرى. ثم قم بتغيير عامل واحد واختبر مرة أخرى.

تشمل الخيارات الممكنة نموذجًا أصغر ، أو قطعة أثرية مقصوصة مدعومة ، أو حدود سياق أقصر ، أو تسلسلات نشطة أقل ، أو خطة موضع أخرى. يمكن لهذه الاختيارات تغيير الجودة والاصطفاف والإنتاجية.

يوثق VLLM حدود طول السياق والتسلسل كعناصر تحكم في الذاكرة ، ويلاحظ أن CUDA Graph Capture يستخدم ذاكرة GPU إضافية. تعامل مع الإعدادات كجزء من التكوين المقاس. 

قارن تكلفة الاستضافة الذاتية مع واجهات برمجة التطبيقات ووحدات معالجة الرسومات السحابية

قارن فقط التكوينات التي تلبي جودة المهمة المطلوبة ووقت الاستجابة. الخادم الرخيص الذي ينتج إجابات غير قابلة للاستخدام ليس توفيرًا.

بالنسبة لخادم مخصص مستأجر، تشمل:

  • رسوم الإيجار والإعداد على المدى المخطط.
  • رسوم التخزين والنقل والبرامج والدعم.
  • تشغيل العمل للتحديثات والمراقبة والحوادث.
  • السعة اللازمة للصيانة أو معالجة الفشل.

لا تقم بإضافة الطاقة مرة أخرى عندما تتضمن رسوم الإيجار بالفعل. بالنسبة للأجهزة المملوكة ، استخدم نموذج ملكية منفصل يغطي الشراء والطاقة والمرافق والدعم.

التكلفة لكل طلب مقبول = التكلفة الكاملة خلال فترة ÷ الطلبات المقبولة خلال تلك الفترة

على سبيل المثال ، التكلفة الشهرية الكاملة الخيالية البالغة $1،200 مقسومة على 600000 طلب مقبول تعطي $0.002 لكل طلب مقبول. هذا حساب تعليمي ، وليس اقتباسًا أو سعة خدمة مقاسة.

لا تفترض عشرة أضعاف أن الطلب يناسب نفس الخادم في نفس وقت الاستجابة. تتغير التكلفة عندما تتغير السعة أو التوظيف أو الاحتياطي.

بالنسبة لمقارنات واجهة برمجة التطبيقات ، ورموز إدخال السعر ، ورموز الإخراج ، والتخزين المؤقت ، والفئات الأخرى التي تمت فوترتها بشكل منفصل. بالنسبة لوحدات معالجة الرسومات السحابية ، قم بتضمين ساعات التشغيل والتخزين المرفق والتحويلات والخدمات الداعمة المطلوبة.

لا يوجد حجم رمز عالمي يصبح فيه الاستضافة الذاتية أرخص. تحديد النتيجة ، وجودة النموذج ، وطول الطلب ، والأجهزة ، ومسؤولية التشغيل.

تحقق من حدود النشر قبل الطلب

ملاءمة الأجهزة هي جزء من الجاهزية. قم بتأكيد ترخيص الطراز الدقيق والاستخدام المسموح به. تحقق من توافق برنامج التشغيل ووقت التشغيل والقطع الأثرية.

التحكم في الوصول إلى نقطة نهاية الاستدلال. قم بتعيين حدود حجم الطلب والإخراج وقائمة الانتظار وسعر الفائدة. تحديد قواعد التسجيل والاحتفاظ. راجع الاتصالات الصادرة ، والتضمينات الخارجية ، والأدوات ، وواجهات برمجة التطبيقات الاحتياطية إذا كان يجب أن تظل البيانات داخل حدود معينة.

لا يكون الخادم المخصص المستأجر تلقائيًا في المبنى أو فجوة الهواء. تمنحك الاستضافة الذاتية التحكم في خيارات النشر ؛ لا يثبت أن كل موجه يظل خاصًا تحت كل تكوين.

تحديثات نموذج الخطة وملفات التراجع والمراقبة والاسترداد. إذا كانت الخدمة يجب أن تستمر أثناء فشل المضيف ، فإن البنية تحتاج إلى سعة احتياطية خارج هذا المضيف. لا توفر وحدات معالجة الرسومات المتعددة داخل خادم واحد مضيفًا ثانيًا.

أسئلة مكررة

هل يمكنني الاستضافة الذاتية لـ LLM بدون GPU؟

نعم. يمكن لأوقات التشغيل المدعومة تشغيل النماذج على وحدات المعالجة المركزية ، ويمكن للبعض تقسيم العمل بين وحدة المعالجة المركزية ووحدة معالجة الرسومات. ابدأ بنموذج وتنسيق يناسب نظام ذاكرة الوصول العشوائي للنظام ، ثم اختبر وقت الاستجابة. يمكن أن يتناسب الاستدلال المعالج لوحدة المعالجة المركزية فقط مع المهام ذات التردد المنخفض ، ولكن يجب قياس الملاءمة التفاعلية.

هل 24 جيجابايت من VRAM كافية لخادم LLM؟

يعتمد ذلك على القطعة الأثرية والسياق والطلبات النشطة ووقت التشغيل. قد تناسب العديد من النماذج الكمية المدمجة ، لكن Memory Fit لا تؤسس القدرة الإنتاجية. تتطلب الأوزان المثالية ذات الأربع بتات النموذجية لطراز 70B 35 جيجابايت ، والتي تتجاوز 24 جيجابايت من VRAM المتاح.

ما مقدار الذاكرة التي يحتاجها طراز 70B؟

تبلغ مساحة الأرضيات المثالية 140 جيجابايت عند 16 بت و 70 جيجابايت في ثماني بتات و 35 جيجابايت بأربع بتات. أضف تنسيق النفقات العامة وذاكرة التخزين المؤقت والذاكرة العاملة والحجز. يعتمد الموضع عبر GPU وذاكرة المضيف على وقت التشغيل.

هل يمكن لوحدتي معالجة الرسومات بسعة 24 جيجابايت أن تحل محل وحدة معالجة رسومات أكبر؟

في بعض الأحيان ، إذا كان النموذج ووقت التشغيل يدعمان تقسيمًا مناسبًا. فهي ليست مكافئة تلقائيًا لجهاز واحد أكبر. يؤثر الاتصال والنفقات العامة لكل جهاز وموضع ذاكرة التخزين المؤقت وطوبولوجيا الخادم على كل من الملاءمة والسرعة.

لماذا يتم تحميل النموذج ولكنه يفشل في العديد من الطلبات؟

يتحقق التحميل مما إذا كان التخصيص الأولي مناسبًا. يمكن أن تزيد الطلبات الإضافية من ذاكرة التخزين المؤقت والطلب على ذاكرة العمل. قم بقياس نقطة الفشل الدقيقة وتحقق من السياق وحدود التسلسل النشط والخدمات المحملة الأخرى قبل تغيير الأجهزة.

ما مقدار ذاكرة الوصول العشوائي للنظام التي يحتاجها خادم الاستدلال؟

ميزانية قمم بدء التشغيل ونظام التشغيل ووقت التشغيل وخدمات API وإلغاء تحميل وحدة المعالجة المركزية وأي مكونات استرداد. قياس كل من التحميل والتشغيل الثابت. لا توجد متطلبات RAM ثابتة للنظام تتبع عدد المعلمات أو ذاكرة GPU وحدها.

هل الخادم المخصص أرخص من واجهة برمجة التطبيقات؟

يمكن أن يكون الأمر كذلك ، ولكن قارن التكاليف الكاملة بجودة المهمة المكافئة ووقت الاستجابة. قد يترك الطلب المنخفض أو غير المنتظم الأجهزة المستأجرة في وضع الخمول. يمكن أن يؤدي الطلب المستمر إلى تحسين الاستخدام ، بشرط أن يتمكن الخادم المحدد من التعامل معه داخل هدف الخدمة.

الخطوات التالية الموصى بها

اختر الأجهزة من ملف تعريف طلب موثق ، وليس عدد المعلمات وحده. احسب الأوزان وذاكرة التخزين المؤقت بشكل منفصل ، وأضف ميزانية الخادم الكاملة ، واختبر التكوينات المتبقية.

قبل الالتزام:

  1. إصلاح نموذج المراجعة ، والقطعة الأثرية ، والسياق ، وهدف الطلب النشط.
  2. احسب ميزانية الذاكرة باستخدام وحدات متسقة.
  3. تأكيد دعم وقت التشغيل وموضع كل جهاز.
  4. اختبار الكمون والإنتاجية والجودة وسلوك الفشل.
  5. قارن التكاليف الكاملة خلال نفس الفترة.

لمناقشة التكوين المناسب ، راجع Atal Networks خوادم مخصصة ومشاركة نموذجك وملف تعريف الطلب وتقدير الذاكرة والموقع ومتطلبات البرامج. تأكيد توفر وحدة معالجة الرسومات والخيارات المدعومة للعرض المحدد قبل الطلب.

المصادر وملاحظات الحساب

تم فحص المصادر في 28 أكتوبر 2026. يمكن أن تتغير تكوينات النموذج ودعم وقت التشغيل وسلوك البرامج ، لذا سجل الإصدار المستخدم للنشر.

تستخدم جداول الوزن عدد بتات مثالية و GB عشري. تستخدم أرقام KV-cache Binary GIB وافتراضات الانتباه الكامل المذكورة. تخصيص الوزن 5 جيجابايت ، 2 مدخلات ذاكرة العمل Gib ، 2 Gib ، ومثال الدولار هي مدخلات تعليمية خيالية. إنها ليست قياسات أو أسعار أو مطالبات سعة.

هل أنت جاهز لترقية خوادمك المعدنية؟

انضم إلى أكثر من 36,000 شركة تختار استضافة خالية من المخاطر.

هل أنت جاهز لنشر خادم VPS الخاص بك؟

قم بتشغيل استضافة VPS سريعة وآمنة وقابلة للتطوير اليوم.
Scroll to Top
Seraphinite AcceleratorBannerText_Seraphinite Accelerator
Turns on site high speed to be attractive for people and search engines.