A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo

سأعرض عليكم العمل الذي قمنا به مؤخراً لبناء أول نموذج أساسي خاص بـ "ويلز فارغو". سأشرح لماذا قمنا بذلك ، وكيف فعلناه، وما الذي حققناه من خلاله. أولاً، النموذج الأساسي لا يشترط أن يكون قائماً على اللغة فقط. أعني، نحن جميعاً نستخدم "كلود" و "تشات جي بي تي" وغيرهما. كلها نماذج أساسية قائمة على اللغة. في الخدمات المالية، لدينا لغة بالطبع، من بيانات مهيكلة وغير مهيكلة. لكن لدينا أيضاً الكثير من البيانات ذات التمثيل المهيكل. الكثير من هذه البيانات هي بيانات جدولية. لدينا الكثير من المعلومات عن عملائنا. لدينا معلومات في الخدمات المصرفية الاستثمارية والاستهلاكية، وكل هذه البيانات نمتلكها في "ويلز فارغو" وتمتلكها المؤسسات المالية الكبرى الأخرى أيضاً. ونحن نريد الاستفادة من كل هذه الكميات الضخمة من البيانات التي لدينا. ولا يقتصر الأمر على مجرد أخذها ووضعها في نموذج لغوي للحصول على أفضل النتائج. بالطبع، يمكنك الحصول على الكثير من الفوائد، لكنها ليست بالضرورة الطريقة الأفضل. لذا، قررنا النظر في البيانات المتاحة لدينا: جميع المعاملات التي يقوم بها العملاء عبر بطاقات الخصم، والائتمان، والقنوات الرقمية، والشيكات، وكل ما يأتي من قنوات مختلفة، لنرى ما إذا كان بإمكاننا بناء نموذج أساسي يمكننا استخدامه وضبطه بدقة للمهام اللاحقة مثل

تقييم الائتمان، أو استخدامه لكشف الاحتيال، ومكافحة غسل الأموال، وأعمال التسويق. إذن، كيف يمكننا بناء هيكل أساسي واحد يمكن استخدامه وتبسيطه عبر المهام اللاحقة. أنت الآن تنتقل من نماذج متعددة ومنفصلة عبر مؤسسات مختلفة إلى هيكل أساسي واحد يمكن لكل قسم إعادة استخدامه، لأنك تتعلم تمثيلات لمعاملات العملاء على نطاق واسع . هذا هو هدفنا. وقد تتساءل في هذه النقطة: "مهلاً، هذه بيانات جدولية". "لماذا لا تستخدمون XGBoost والأساليب المعتادة؟" لقد فعلنا ذلك بالفعل. كان هذا هو النموذج الذي نستخدمه في الإنتاج. لكن النموذج الذي سأعرضه عليكم يتفوق على XGBoost ليس فقط من منظور زمن الاستجابة، بل أيضاً في كشف الاحتيال، حيث حققنا تقليلاً أفضل بكثير للإيجابيات الكاذبة ومعدل كشف أدق . لقد كان درساً رائعاً تعلمناه حول الحصول على نموذج أفضل باستخدام النماذج الأساسية. وبالنسبة للنموذج الأساسي، فقد استخدمنا كتل المحولات (transformer blocks).

وهذا هو ما قمنا ببنائه. حسناً، كما ذكرت، لدينا مليارات المعاملات بشكل شهري. يتفاعل عملاؤنا باستخدام بطاقات الخصم والائتمان، ويقومون بإصدار الشيكات، وإجراء أنواع مختلفة من المعاملات. والسؤال الحقيقي هو كيف يمكننا استخدام هذه المعلومات على نطاق واسع، وليس فقط لمهمة واحدة محددة. لذا، سأغطي قليلاً البيانات، والتمثيلات ، والبنية التي نستخدمها، والنتائج التي نحصل عليها، والدروس التي تعلمناها أثناء بناء هذا النظام. حسناً. أعني، على الجانب الأيسر، نموذج أساس لغوي يعالج رموز اللغة ، والهدف هو تعلم تمثيل قادر على توقع الرمز التالي. ثم نقوم بالتدريب الدقيق الخاضع للإشراف، وعمليات مثل التعلم التعزيزي، وكل عمليات ما بعد التدريب الرائعة للتحسن في المهمة المطلوبة، أليس كذلك؟ وهذا يخص اللغات. هذا رائع. لكن ماذا لو كانت بياناتك متخصصة جداً من حيث التمثيل؟ هنا يأتي دور نموذج أساس المعاملات الذي بنيناه. بدلاً من جعل اللغات هي الأساس، أصبح الأساس الآن هو المعاملات. معاملات عملائنا. وما زلت تحاول توقع الشيء التالي، وهنا الشيء التالي هو المعاملة التالية أو الرمز التالي في المعاملة باستخدام كل القنوات المتاحة لديك. لكن هذا ليس الهدف النهائي.

أعني، تماماً مثل نموذج اللغة حيث تحاول توقع الرمز التالي، هذه ليست نهاية القصة، أليس كذلك؟ أنت تتعلم تمثيلاً ثم تستخدم ذلك التمثيل وتقوم بضبطه وتدريبه لاحقاً لأي مهمة أخرى، أليس كذلك؟ قد يكون ذلك مهمة تصنيف في اللغات، ولكن في سياق نموذج أساس المعاملات لدينا، يمكن استخدامه لزيادة خط الائتمان، واكتشاف الاحتيال، وتحديد الجهات الفاعلة السيئة من منظور مكافحة غسيل الأموال. والهدف هو تعلم هذه العلاقات بين المعاملات بمرور الوقت وبين المعاملات عبر العملاء. هذا هو القصد الحقيقي. لذا، القصد الأول هو القيام بالتدريب المسبق من الصفر. سأكرر ذلك لأن الناس يخلطون بين الأمور أحياناً. نحن ندرب كتل المحولات مسبقاً على نطاق واسع من الصفر باستخدام بيانات المعاملات الخاصة بنا. لذا، الأوزان ليست أوزان مفتوحة نستخدمها، بل هي أوزاننا الخاصة. نحن نستخدم البنية فقط ، ثم نقوم بالتدريب المسبق من الصفر باستخدام مجموعة وحدات معالجة الرسوميات الخاصة بنا لعدة أيام أو أسابيع، ثم نقوم بمهام ما بعد التدريب. لكن الهدف هنا هو تدريبه مسبقاً للتنبؤ بالرمز التالي أو المعاملة التالية.

وأنت تحاول القيام بذلك. حسناً، أنت تحاول التنبؤ بنمط العميل التالي. لكن ليس هذا هو القصد. القصد هو القيام بالمهمة اللاحقة في وقت لاحق. ومن حيث النطاق، أعني أننا نعمل على نطاق واسع. لدينا مليارات المعاملات، وملايين الحسابات، ومئات المعاملات لكل عميل شهرياً باستخدام بطاقات الخصم أو الائتمان أو الشيكات. والأبعاد الخمسة الرئيسية التي ننظر إليها هي من يقوم بالمعالجة، ومن يطلب الخدمة، ومن يقدمها، أي العميل أو التاجر. وماذا، أي ماذا نشتري، وماذا نعالج؟ وكيف، أي ما هي القناة المستخدمة؟ هل هي ائتمان؟ هل هي خصم؟ هل هي رقمية؟ متى يحدث ذلك؟ وأين يحدث ذلك؟ وكل هذه تنقسم أساساً إلى مئات السمات. وإذا نظرت إلى النموذج الحالي لدينا في الإنتاج، فهناك الكثير، أعني أن الأشخاص الذين بنوا هذه النماذج في مؤسسات مماثلة، حسب فهمي، بذلوا الكثير من جهود هندسة السمات اليدوية الصعبة. وهذا يتطلب الكثير والكثير من الوقت. لذا تراجعنا خطوة للوراء ونظرنا إلى السمات الخام التي نحتاجها، وليس تلك التي تم بناؤها مسبقاً أو لاحقاً للمهمة اللاحقة، وحاولنا فهم السمات الخام وانتهى

بنا المطاف بحوالي 100 سمة. حتى مع امتلاكنا لآلاف منها في نهاية المطاف، حاولنا تحديد أي منها تمثل وحدة المعلومات الخام الحقيقية. ثم تركنا بنية كتل المحولات ( Transformer blocks) تكتشف العلاقات بين هذه السمات الأساسية. وكما ترون، لدينا مجموعة من السمات عبر تلك الأبعاد الخمسة. والمفردات فريدة جداً لبيئة الخدمات المالية. وهذا هو السبب في أننا لم نستخدم نموذجاً مدرباً مسبقاً، لأن المفردات التي نستخدمها خاصة جداً بالعمل الذي نريد القيام به، وحتى لو قمنا بدمج جميع المعاملات الرقمية، والجارية، والادخارية . كل تلك الأنواع من المعاملات، حتى لو دمجتها جميعاً، ستظل تنتهي بعدد محدود جداً من السمات والخصائص. لذا على هذا النطاق، يبرز السؤال حول كيفية التعامل مع الأمر. لقد بدأنا بحقيقة أن كل شيء عبارة عن بيانات جدولية، وهذا ليس سراً . الهدف هو فهم كيفية التقاط المفردات، حيث أن لديك قيمًا رقمية وفئات، ومعلومات مثل الرمز البريدي. هل نقوم بتشفير كل رمز بريدي في رمز (token) خاص؟ وهل هذا منطقي؟ هناك جهد كبير مطلوب لفهم المفردات التي

تحتاجها وتطويرها لتلائم نطاق العمل، لأنه في مرحلة التدريب ، إذا كانت المفردات ضخمة جداً، سيصبح تدريب النموذج فوضوياً. لذا، هناك جهد كبير في فهم كيفية تحويل القيم إلى رموز، أي المعلومات التي نضمنها في الرمز، ثم عمليات التقطيع والبحث عن التضمينات، بحيث عندما تأتي معاملة ما، نستخدم المفردات الموجودة للبحث ومطابقة المعاملة وخصائصها مع رمز ومعرف ثم تضمين. لأعطيك بعض الأرقام، لدينا بيانات كمية ونوعية وفئات من أنواع مختلفة؛ فئات تحتوي على ثمانية أنواع فقط، وأخرى أكبر بكثير. لدينا قيمة المعاملة وهي أمر بالغ الأهمية، والوقت الفاصل بين المعاملات، وأي شيء يتعلق بعنوان IP أو الرمز البريدي. هذا مجرد مثال على التنوع وعدم التجانس، حيث يمكن تشفير كل خاصية في رمز ثنائي أو في عدد أكبر بكثير من الرموز.

وحتى لو نظرت فقط إلى الرمز البريدي، فلديك عدد أكبر بكثير من الرموز البريدية في الولايات المتحدة مقارنة بتلك الـ 2800، ولكن هناك طرق أكثر تطوراً وأفضل بكثير لهيكلة كيفية إعادة تجميع الرموز البريدية بناءً على التوزيعات، على سبيل المثال. أما بالنسبة للبنية، فقد استخدمنا رياضيات "شينشيلا" لتحديد كيفية بنائها، أليس كذلك؟ في البداية ، لم تكن لدينا أدنى فكرة عن كيفية عمل ذلك في المساحة الجدولية، على الرغم من وجود أوزان وحلول مفتوحة المصدر لنماذج أساس البيانات الجدولية. لذا، بدأنا مما تعلموه وقمنا بتكييفه مع ما كنا بحاجة إلى القيام به. سأقدم لكم مثالاً على أبعاد التضمين، وعدد طبقات فك التشفير التي استخدمناها، وكل الوصفة من منظور هندسي . أم، كما ترون، نحن لا نحاول بناء نموذج بمليارات المعلمات.

نحن لا نحاول منافسة أي من رواد النماذج اللغوية، لأننا نعمل ونركز حقاً على المعاملات، أليس كذلك ؟ نماذج أساس للمعاملات على مستوى المليار. والمليار هو لأن هذا هو النموذج الذي أعطانا، حسناً، كان الأصغر وقدم لنا أكبر دفعة. والآن نعمل على نسخة تالية بحجم 11 ملياراً، وهي كافية جداً لتقديم الكثير من العائد على الاستثمار من حيث تقليل النتائج الإيجابية الكاذبة للمهام اللاحقة، مثل كشف الاحتيال ومعدل الكشف. إذاً، نوع البنية هو بنية فك تشفير فقط، وهي أساساً للتنبؤ بالرمز التالي أو المعاملة التالية. وهذا هو جوهر التدريب المسبق. هنا استخدمنا في البداية 20 ضعف عدد المعلمات لتحديد عدد الرموز التي قد نحتاجها. انتهى بنا المطاف في الواقع بعامل أكبر بـ 10 أضعاف من ذلك. فمن خلال إجراء بعض التجارب، احتجنا إلى عدد أكبر بكثير من الرموز لكل معلمة.

أعني أن هذه كانت نوعاً من التجارب الأولية التي أجريناها. سأتجاوز هذا لأن هذه هي الأساليب المعتادة من حيث دوال الهدف، ونمذجة اللغة السببية، ونمذجة اللغة المقنعة، وأعمال التحسين. نعم، من منظور البنية، لا يوجد شيء خيالي هنا حقاً. مرة أخرى، الجزء الأكثر تعقيداً كان حقاً الترميز. ثم التكيف والقيام بالتدريب المسبق. وكيف تقوم بالضبط بالضبط الدقيق. لذا إذا أردت تسمية الوصفة أو المكون السري، فهو حقاً كيفية قيامك بالترميز وكيفية قيامك بالتدريب اللاحق. لكن من منظور التدريب، السؤال هو فقط كم عدد المعاملات التي ستضعها في سياقك أو تاريخك للقيام بالتدريب. والتقييم يعتمد على دقة الحيرة في لوحة تحكم دقة المهام اللاحقة، وهذا هو الأسلوب المعتاد.

نعم، لذا استخدمنا الدقة المختلطة، وتوازي البيانات الموزع، وتعظيم حجم الدفعة المصغرة، للحصول على تقارب أسرع ، واستخدام "نيورون"، و "روب"، والتقنيات المعتادة لكفاءة الذاكرة مثل "فلاش أتينشن" ونقاط فحص التنشيط. أعني أنه لا يوجد شيء جديد حقاً هنا. لقد استخدمنا النصائح من الأفضل، من أولئك الذين قاموا ببناء نماذج أكبر بكثير. لذا سأنتقل عن هذه النقطة. الوقت قصير، لكنني أردت قضاء بعض الوقت في الحديث عن النتائج. عندما تبني هذه القاعدة، فإنها في الواقع تشكل ركيزتك الأساسية. إنه شيء يمكنك استخدامه للمهام اللاحقة. وكانت المهمة اللاحقة هي تصنيف الاحتيال. لديك معاملات وتحاول التنبؤ بما إذا كانت تلك المعاملة احتيالية. النموذج الذي نستخدمه في الإنتاج هو نموذج XGBoost ، وتم تدريبه على كمية كبيرة من المعاملات الاحتيالية وغير الاحتيالية. والجزء المفقود كان العلاقة بين أي معاملة تحاول التنبؤ بها وتصنيفها، وعلاقة هذه المعاملة بكل المعاملات السابقة. هذه المعلومات تضيع نوعاً ما عند استخدام نموذج XGBoost، ما لم تقم بتشفيرها بطريقة

غريبة جداً وهو أمر ليس سهلاً. ولكن إذا استخدمت هياكل المحولات (Transformer)، فلديك هذا الاهتمام الجيد من المعاملات الحالية إلى المعاملات السابقة. وهذا هو الأساس الذي نعتقد أنه ساعد في رفع معدل كشف الاحتيال بشكل أكبر. لكن في نهاية المطاف، كانت المهمة اللاحقة هي قول : إليك تسلسل المعاملات. لدي شخص يستخدم بطاقة الخصم للتو. هل هذه المعاملة احتيالية بالنظر إلى كل المعلومات التاريخية؟ وهذا بالضبط ما تضعه في وقت الاستدلال عندما تحاول إجراء التنبؤ. إذن، هذه هي الهندسة المعمارية. لا يوجد شيء مبهر هنا حقاً. تحتاج فقط إلى هندسة جيدة لضمان معالجة العمليات في أقل من 250 مللي ثانية، لأن الرفض يجب أن يحدث خلال ذلك الإطار الزمني. كنا أسرع بعشر مرات من ذلك من منظور الكثافة، لذا كان كل شيء جيداً.

وفيما يتعلق بالنتيجة النهائية التي حصلنا عليها. المقاييس الرئيسية ترتبط مباشرة بالتكاليف أو الوفورات للشركة. وهي معدل الكشف ومعدل الإيجابيات الكاذبة. بالطبع، يمكنك الكشف بنسبة أعلى، ولكن في كثير من الحالات نحصل أحياناً على المزيد من الإيجابيات الكاذبة. وفي هذه الحالة تمكنا من وضع علامة على المزيد من الأنشطة الاحتيالية، بل وقمنا أيضاً بتقليل الإيجابيات الكاذبة. لذا، كان ذلك نصراً كبيراً. كان نصراً كبيراً لأنه في نهاية اليوم، إذا رفضت معاملة ليست احتيالية ، فسوف يتصل ذلك الشخص. غالبًا ما يرتبط هذا بتكاليف تشغيلية. أنت تخسر المعاملة المتعلقة بذلك الإجراء غير الاحتيالي. لذا، إنه، إنه، أمر لا ترغب حقًا في حدوثه. إذًا، مجددًا، هذه مقارنة بأحدث نماذج XGBoost المستخدمة في كشف الاحتيال. لذا، هو في الأساس مكسب ضخم، إنه ملايين الدولارات من الوفورات. إذًا، إنها دفعة قوية جدًا. لذا، فقط لننهي الحديث عن هذه الشريحة. إذًا، لذا، تم بناء نموذج الأساس هذا على مليارات المعاملات لعملاء ويلز فارجو.

هذا أولًا. إنه، إنه مدرب مسبقًا من الصفر. لذا، نحن لا نستخدم أي نموذج مفتوح الأوزان للتدريب المسبق. نحن نستخدم بنية موجودة، لكن طريقة تقييمنا للتدريب المسبق تستغرق بضعة أيام. أعني، قمنا بذلك في بضعة أسابيع في البداية، ولكن بعد ذلك أصبح مدربًا مسبقًا. ثم، عندما يتم تدريبه مسبقًا، يكون جيدًا جدًا في التنبؤ بالمعاملة التالية. وعندما تنتهي من ذلك، يمكنك استخدامه للعديد من المهام اللاحقة. لقد قمنا بذلك لكشف الاحتيال. نحن الآن نستكشف استخدامه لزيادة حد الائتمان، ومكافحة غسيل الأموال، والتسويق. لذا، الآن يتم استخدام نفس النموذج الأساسي عبر مؤسسات مختلفة داخل ويلز فارجو. وأجل. شكرًا لاستضافتي وشكرًا لكم.