How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models - David Abitbol, Revolut

اسمي ديفيد. أدير عمليات الذكاء الاصطناعي في شركة تُدعى ريفولوت. لدينا 50 دقيقة معًا اليوم. سنتحدث عن هندسة الأداء العالي ونموذج مفتوح المصدر ذاتي الاستضافة على وحدة معالجة رسومية مخصصة. ما رأيك؟ رائع. حسنًا، سيكون الحديث تقنيًا، لذا تفضلوا بالصبر عليّ. حسنًا، لنبدأ لأنني أعلم أنكم في الولايات المتحدة وقد لا تعرفون ريفولوت. دعونا نُعرّفكم بشركتنا باختصار. نحن بنك رقمي في أوروبا. لدينا 80 مليون عميل. نعمل في 45 سوقًا. تطبيقنا المالي هو الأكثر تحميلًا في أوروبا خلال العام الماضي. واعتبارًا من يوليو، نحن أكبر شركة خاصة في أوروبا. إذًا، وضعنا جيد. ينصب تركيز ريفولوت على إطلاق الكثير من المنتجات، ولذلك نولي اهتمامًا كبيرًا لثقافة الهندسة والتميز في هذا المجال. سنتحدث عن ذلك. لننتقل الآن إلى الحديث عن الذكاء الاصطناعي. لدينا رسم بياني هنا. سأرى خطين.

هذه عينة من أداء 2000 مهندس خلال العام الماضي. يمثل الخط الأخضر وقت التنفيذ، أي الفترة من اختيار المهندس لميزة معينة حتى دمجها وجاهزيتها للنشر. أما الخط الأزرق فيمثل وقت البرمجة، حيث يُقاس الخط الأخضر بالأيام، بينما يُقاس الخط الأزرق بالساعات. هذا لتوضيح الجدول الزمني في حال نسيانه، لأن الذكاء الاصطناعي يتطور بسرعة كبيرة. صدرت خدمة Cloud Code في فبراير 2025 تقريبًا، وهي نسخة Cloud Code Sonnet 3.7، التي كانت تحذف قاعدة بيانات الإنتاج، وليست النسخة الآمنة من Cloud و Codex المتوفرة حاليًا. لذا، ضع هذا في اعتبارك عند الحديث عن التبني. ما تراه في هذا الرسم البياني هو تاريخ 25 يناير، وهو تاريخ تقديم الذكاء الاصطناعي لأول مرة في الشركة، Gemini. كانت تلك المرة الأولى التي تمكن فيها المستخدمون من استخدام البيانات الخاصة ضمن بيئة الذكاء الاصطناعي. في فبراير تقريبًا، بدأنا تجربة Cloud Code، وفي يناير أطلقنا Cloud Code على نطاق واسع. ما تلاحظونه هو أن Gemini حقق تحسناً بنسبة 10%في وقت التنفيذ، و 20%في وقت البرمجة، مما يعني أن المستخدمين لم يعودوا بحاجة إلى البحث في Stack Overflow وقراءة الوثائق. أما Cloud Code، فلم يكن له تأثير كبير في ذلك الوقت. لذا، عندما أطلقناه، كنا متشككين للغاية بشأن تكلفة الذكاء الاصطناعي. كنا نرى المهندسين ينفقون آلافاً، بل وعشرة آلاف شهرياً، دون عائد استثمار مُجزٍ. لذلك،

أطلقناه بميزانية محدودة للغاية. وكنا نبحث عن الخطوة التالية، أليس كذلك؟ كيف يمكننا توفير رموز غير محدودة للمهندسين ليتمكنوا من استخدام الذكاء الاصطناعي دون أي شعور بالذنب وبتكلفة زهيدة؟ لذلك، بحثنا في المصادر المفتوحة. في حوالي 26 أبريل، بدأنا نموذج الاستضافة الذاتية للمصادر المفتوحة. نحن من أشد المعجبين بـ GLM للبرمجة. في ذلك الوقت تقريباً، في 26 أبريل، مع GLM 51، لاحظنا تحسناً بنسبة 60%في وقت البرمجة، و 70%في وقت التنفيذ. إذن، تأثيرٌ كبير. ماذا نستنتج من هذا؟ حسنًا، التأثير على وقت التنفيذ أكبر من تأثيره على وقت البرمجة، لذا نجد أن عنق الزجاجة في الهندسة ليس بالضرورة البرمجة. يمكنك توفير الكثير من الوقت بعدم الحاجة إلى البحث في بريدك الوارد أو التعامل مع Jira و Confluence. وعندما يكون لديك رصيد غير محدود من الرموز، فأنت حر في فعل ذلك. لم تعد مضطرًا لتوفير رموزك لنهاية الربع أو لأصعب المهام. إذن، أين نحن الآن؟ حسنًا، المصادر المفتوحة أصبحت أولوية في Revolut، ومع ذلك فإن الجدوى الاقتصادية مواتية.

الفواتير ثابتة، ولا نواجه أي مفاجآت في نهاية الشهر. والفرنسيون هنا هم الاستثناء. لذلك، من الواضح أننا نستمر في استخدام CodeX. أحدث النماذج رائعة. أنا وجيمي نعمل بشكل جيد جدًا أيضًا. لكننا نبقيها استثناءً. إذن، كيف نصل إلى ذلك؟ بعض المقاييس المهمة عند استخدام نموذج الاستضافة الذاتية. لذا، لخدمة 2000 مهندس، نحتاج تقريبًا إلى 56 مليار B200. وهذا لاستضافة GLM 53. GLM نموذج ضخم، أليس كذلك؟ 800 مليار مُعامل. ما نسعى إليه هو زمن أقل من 3 ثوانٍ لأول رمز مميز. هذه حقيقة مثبتة. بمجرد تجاوز 5 ثوانٍ، يبدأ صندوق وارد Slack الخاص بي بالامتلاء، لذا نعلم أن هذا هو الحد الأقصى. من حيث الإنتاجية، لا يهم ذلك كثيرًا، أليس كذلك؟ لذا، نخدم 200 رمز مميز في الثانية من حيث التفاعل. هذا جيد، لا داعي للمزيد. لقد تغيرت طريقة عمل الناس ، لم نعد ننظر إلى تدفق الرموز المميزة، بل يُنفذون المهام بالتوازي ويُسجلون عند اكتمالها. ولكن، إذا كنت ترغب في الحصول على إنتاجية عالية، عندما تكون مهندسًا في Revolut، ما عليك سوى الاتصال بعد الساعة 5:00 مساءً.

عندما لا يكون أحد يستخدم وحدة معالجة الرسومات (GPU) ويمكنك الحصول على 800 معاملة في الثانية، فهذا أمر رائع. من حيث التكلفة والتأثير، فإن تكلفة الرمز المميز لدينا، عند استضافة نموذج الانحدار الخطي المعمم (GLM) ذاتيًا، تبلغ 30 سنتًا لكل مليون. وبالتالي، فإن فاتورتنا تُعادل عُشر ما كنا ننفقه على Anthropic و OpenAI. لذا، يتطلب تشغيل نماذج المصادر المفتوحة الكثير من الضبط. إذا حصلت على وحدات معالجة رسومات ( GPU) وقمت بتحميل الأوزان عليها وبدأت في إجراء الاستدلال، فستحصل على أداء سيئ للغاية. ذلك لأن عبء العمل لديك سيعتمد بشكل كبير على المعلمات التي تحددها. لذا، إذا نظرت إلى أقصى يسار هذا الرسم البياني، ستجد أن الخط الأزرق يُمثل الطلب، أي عدد الطلبات في الثانية. وهذا ما سيُشكل عنق الزجاجة لزمن استجابة وحدات معالجة الرسومات. أما الخط الأحمر فهو ما نعمل على تحسينه، أي الوقت اللازم للحصول على أول رمز مميز.

عندما بدأنا في أبريل، كان معدل الطلبات حوالي ثلاثة في الثانية، وهو معدل مرتفع ولكنه ليس مرتفعًا جدًا. وكان وقت الحصول على أول رمز مميز يتجاوز 10 ثوانٍ، وهو وقت بطيء للغاية. جميع البيانات المعروضة تُظهر نفس عدد وحدات معالجة الرسومات (GPU). لم نقم بزيادة عدد وحدات معالجة الرسومات، وما زلنا عند 56 وحدة. وبحلول نهاية أغسطس، ارتفع معدل الطلبات إلى أكثر من سبعة في الثانية، وانخفض وقت الحصول على أول رمز مميز إلى حوالي 1.6 ثانية. أي أننا حققنا تحسنًا بنسبة 88%في الأداء مقابل زيادة في الطلب بنسبة 76%. نستنتج من ذلك أن هناك العديد من المعايير التي يمكن تحسينها، وأن التوسع ضروري جدًا إذا كنت تسعى لخدمة نموذج معين . لذا، دعونا نتحدث عن المعايير. لا توجد وصفة سحرية، ولكن الأمور التي يجب مراعاتها هي التالية: أولًا، السياق الطويل مضلل. يجب أن تدرك أنه حتى لو كان بإمكانك خدمة مليون رمز مميز، فإن 256256 هو ما تحتاجه فعلاً. فيما يخص التكميم، إذا كنت تستخدم وحدة معالجة رسومية من نوع Black Wall، فلا يُنصح باستخدام دقة أعلى من FP4. وتُعدّ VFP4 هي الأفضل.

الانتقال من FP4 إلى FP8 يُوفّر حوالي 40%من مساحة وحدة المعالجة الرسومية دون أي فقدان في الدقة. من المعايير الأخرى التي يجب مراعاتها، التوازي الموتري؛ فعلى الرغم من أن GLM يعمل على TP4، إلا أن ذاكرة التخزين المؤقت KV غير كافية، لذا قد يكون TP8 أفضل حسب حجم العمل. أما بالنسبة للأمور الأكثر تعقيدًا، فتحقق من نسبة نجاح ذاكرة التخزين المؤقت. يجب أن تتجاوز نسبة نجاح اختبار الترميز 90 %. يمكنك أيضًا البحث في تحسين فك تشفير المواصفات، والتعبئة المسبقة التسلسلية، و PGD Zag، وغيرها. حسنًا. الآن، دعونا نتحدث عن إعداد الإنتاج. من الواضح أن Gnome نموذج نصي فقط، وهو ما يُمثّل قيدًا للبعض. المقايضة التي نُجريها دائمًا هي الحصول على النموذج الأكثر ذكاءً وإيجاد طريقة أخرى للتعرف على الصور. يمكنك بسهولة استخدام موجه محلي. في Open Codex، يمكنك توجيه أي عملية التعرف على الصور إلى Gemini أو Luna، مع الاحتفاظ بـ Gemini للمهمة الرئيسية. إذا كنت بحاجة إلى نموذج رؤية، فإن Gemini 5G Flash يعمل بكفاءة عالية.

يستخدمه مصمم واجهة المستخدم لدينا بشكل ممتاز، وقد ساهم بشكل كبير في تحسين سرعة تطوير منتجات واجهة المستخدم. أما النقطة الأخيرة فتتعلق بالبنية التحتية. جميع نقاط النهاية هذه متوافقة مع واجهات برمجة تطبيقات OpenAI، بما في ذلك واجهة برمجة تطبيقات الاستجابة، مما يتيح لك استخدامها داخل تطبيق Open Codex Cloud Codex. يعمل التطبيق بكفاءة عالية، وهذا ما نوصي به. أما الرسالة الأخيرة، فهي موجهة إلى مدير تقنية المعلومات. هناك الكثير من التحفظات حول استخدام نماذج المصادر المفتوحة الصينية. لذا، يجب مراعاة أنك لا تستخدم نقطة نهاية الاستدلال المخصصة التي تُرسل إلى الصين، بل تحصل فقط على الأوزان وتضعها على خدمة مقرها الولايات المتحدة. لذلك، من ناحية مشاركة البيانات، هذا مناسب تمامًا. بالنسبة لشركة Revolut تحديدًا، نظرًا لأننا بنك خاضع لتنظيم الاتحاد الأوروبي، فإننا نخضع لأكثر الأنظمة صرامة فيما يتعلق بالامتثال.

ولذلك، وجدنا أن الحل الأمثل هو عدم اعتبار جميع مهام البرمجة هذه عوامل مستقلة، بل تخضع دائمًا لتدخل بشري. فكيف نضمن وجود عنصر بشري في هذه العملية؟ نبدأ بإنشاء بيئة معزولة (Sandbox) تضمن ذلك. تعني البيئة المعزولة ، إذا كنت تستخدم كود Codex، أنه يحتوي على جميع ميزات الموافقة التلقائية. ما عليك سوى تحديد قواعد العمليات التي لا ترغب في السماح بها. على سبيل المثال، يمكنك السماح بـ Gradle، ولكن ليس Gradle. وهذا سيمنح الجهة التنظيمية الثقة بأن هذا ليس عاملًا مستقلًا يحتاج إلى إشراف مختلف. كما تحميك البيئة المعزولة من الاستخدام غير المصرح به، أليس كذلك؟ قد يكون لديك جهات خبيثة داخل شركتك، وتريد الحماية منها. ستندهش مما قد تجده في الشركات الكبيرة. وأخيرًا، الحقن الفوري (Prompt Injection). ليس هذا بالأمر المهم الآن ، نظرًا لتطور النماذج الذكية، ولكنه أمرٌ قائمٌ دائمًا. فيما يتعلق بخصوصية البيانات، فقد تحدثنا عنها. طالما أن البيانات موجودة في إحدى الدول الأعضاء في إطار تكافؤ البيانات، كالولايات المتحدة والاتحاد الأوروبي والمملكة المتحدة وإسرائيل، فلا مشكلة.

يمكنك استخدام بياناتك هناك. جميع مزودي الاستدلال أو مزودي خدمات نقل البيانات عبر الحدود ( GTP) لديهم سياسة عدم الاحتفاظ بالبيانات افتراضيًا. وأخيرًا، أنت بحاجة إلى نظام قياس عن بُعد مفتوح وقوي، بحيث إذا حدث أي خلل، يمكنك التعمق في السجلات والاطلاع عليها. كما يوفر لك هذا النظام بعض التحليلات. حسنًا. شكرًا لكم جميعًا. هذا كل ما لديّ في حديثي.