التحدي
احتاجت شركة ناشئة للذكاء الاصطناعي التي تبني منتجًا يعمل بموجب LLM إلى بنية تحتية استنتاجية على مستوى الإنتاج بسرعة. واجه الفريق أوقات قيادة GPU الطويلة وميزانية ضيقة وعدم وجود خبرة في مركز البيانات الداخلي.لقد احتاجوا الى مورد يمكنه تكوين، اختبار، وتسليم مجموعة جاهزة للعمل.
الحل
العمل مع مهندسينا، والعميل اختار خادمات ديل معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة معالجة
- معالجات Intel Xeon قابلة للتوسع مع خيارات عدد النواة العالية
- عدة وحدات معالجة معالجة حاسوبية من فئة NVIDIA لكل عقدة ، بحجم الميزانية
- ذاكرة DDR5 عالية التردد وتخزين NVMe
- نظام التشغيل المثبت مسبقاً والسائقين المعتمدين من مختبرنا
كل عقدة كانت محترقة وتختبر الإجهاد قبل الشحن، وقدمنا خطة التسليم المرحلية حتى يتمكن الفريق من البدء في الاختبار مع العقدة الأولى بينما يصل الباقي.
نتائجها
- يتم نشر المجموعة في 7 أسابيع ، مقابل وقت التوجه 2 أشهر المذكورة في مكان آخر
- انخفاض فترة تأخير الاستنتاج بنسبة 10% مقارنة مع الإعداد السابق لـGPU واحد
- 10٪ وفورات في التكاليف مقابل تأجير مثيلات GPU السحابية على مدى 24 شهرًا
المفتاح
الحجم الصحيح للمجموعة الأولى أكثر أهمية من شراء الأكبرأجهزة مباشرة من المصنع وتوسيع نطاقها مع نمو الطلب دع هذه الشركة الناشئة تذهب للحياة دون إضافة رأس المال.
اتصل بنا لتخطيط البنية التحتية للاستدلال أو التدريب على الذكاء الاصطناعي
