FrontierFinance معيار اختبار للذكاء الاصطناعي المالي لمستثمرين حقيقيين
FrontierFinance معيار اختبار للذكاء الاصطناعي المالي يختبر الأنظمة على 220 استفسارًا استثماريًا حقيقيًا، بناه خبراء ماليون في Samaya AI بالكامل.
مصدر الصورة:
samaya.ai
FrontierFinance
معيار
اختبار للذكاء الاصطناعي المالي لمستثمرين حقيقيين
معظم
الاختبارات المبنية لقياس مدى جودة نظام ذكاء اصطناعي في المجال المالي تتحقق من
شيء واحد فقط: هل يستطيع استخراج رقم من ملف تنظيمي. تقول Samaya AI، الشركة التي بناها الباحث السابق في Google Brain مايثرا راغو، إن هذا يفوّت معظم ما يفعله
المستثمر فعليًا طوال يومه. إجابتها هي FrontierFinance،
معيار اختبار للذكاء الاصطناعي المالي مبني بالكامل من سير عمل استثماري حقيقي
بدلًا من مهام استخراج بيانات بسيطة، يغطي كل شيء من الفرز المبكر للأفكار إلى
مراقبة المحفظة المستمرة.
منصة
الوكلاء الخاصة بـ Samaya نفسها، وهي المنتج الذي بُني هذا المعيار
لاختباره وتحسينه، تُستخدم بالفعل من قِبل عملاء مسمّين منهم Morgan Stanley، حيث أشادت المديرة العالمية للأبحاث كاتي
هوبرتي بالنظام لتشغيله تحليل الأبحاث عبر مجموعة الأوراق المالية المؤسسية
للشركة. هذا الانتشار القائم جزء مما يجعل المعيار جديرًا بأخذه على محمل الجد:
فهو لم يُبنَ نظريًا، بل من قبل فريق يشغّل هذا البرنامج بالفعل داخل شركات
استثمار حقيقية.
مبني من أسئلة مستثمرين حقيقية، لا مجرد استخراج بيانات
يحتوي FrontierFinance على 220 استفسارًا صممه خبراء مقترنة بـ
11,543 معيار تقييم، يغطي ستة حالات استخدام مالية متمايزة بدلًا من نوع مهمة ضيق
واحد. بُني كل استفسار ومعيار تقييمه عبر عملية من أربع مراحل قادها بالكامل خبراء
ماليون داخليون: صياغة أسئلة واقعية وأحيانًا غامضة مستندة إلى عمل المستثمر
اليومي، وكتابة نقاط التقييم المحددة التي يجب أن تستوفيها إجابة جيدة، ومراجعة
وإزالة أي شيء متكرر أو ذاتي، وأخيرًا إعادة موازنة المجموعة عبر حالات الاستخدام
ومستويات الصعوبة. بدأت هذه العملية من مجموعة أكبر بكثير تضم أكثر من 4,500 استفسار
مُشرَّح بالكامل، مع اختيار الـ220 النهائية تحديدًا لتشكيل معيار عام متوازن.
تعود
كل نقطة تقييم إلى مصدر حقيقي ومتاح للعموم بدلًا من إجابة مُختلَقة. توفر ملفات
هيئة الأوراق المالية والبورصات الأمريكية أكبر حصة منفردة بنسبة 39 بالمئة، بينما
يأتي الباقي من نصوص الشركات وعروض المستثمرين والمعرفة المهنية العامة وبيانات
السوق. وبحسب Samaya، يتغير مزيج المصادر هذا بحسب حالة
الاستخدام المُختبرة، ما يعكس كيف قد يتعامل المستثمر بشكل مختلف مع، على سبيل
المثال، فرز شركة جديدة مقابل متابعة أصل في محفظة يملكه بالفعل.
اختبار الصعوبة بالطريقة نفسها التي تعمل بها تصنيفات الشطرنج
لدعم
الادعاء بأن FrontierFinance أصعب فعليًا من معايير التمويل القائمة،
استخدمت Samaya طريقة مقارنة مستعارة من أنظمة تصنيف
الألعاب التنافسية. جُمعت كل الأمثلة من FrontierFinance
ومن معايير المقارنة معًا، وقارن حكم من الذكاء الاصطناعي بين الأمثلة زوجًا بزوج
لتحديد أيها أصعب في الإجابة عليه بالكامل. حُوِّلت هذه المقارنات الزوجية بعد ذلك
إلى درجة صعوبة لكل استفسار، بالأسلوب الإحصائي نفسه المستخدم في أنظمة مثل
تصنيفات إيلو في الشطرنج. تُظهر النتيجة، بحسب Samaya، أن FrontierFinance
يغطي نطاقًا أوسع من الصعوبة بمتوسط صعوبة أعلى من معايير التمويل العامة القائمة.
يعمل
الاختبار نفسه عبر ثلاثة إعدادات متمايزة، تُسمى "أطر تشغيل": نموذج
ذكاء اصطناعي بسيط مقترن ببحث ويب أساسي فقط، وإعداد مفتوح المصدر يُسمى Finance Agent v2 يضيف ست أدوات متخصصة منها قاعدة بيانات EDGAR الخاصة بهيئة الأوراق المالية وواجهة برمجية
مخصصة لبيانات السوق، وإطار Samaya الداخلي الخاص الذي يجمع نماذجها المخصصة مع
أنظمة استرجاع بياناتها الخاصة. يُقيَّم كل إعداد وفق المقاييس الثلاثة نفسها: عدد
نقاط التقييم التي تستوفيها الإجابة، محكومة بتصويت الأغلبية عبر ثلاثة حكام ذكاء
اصطناعي منفصلين؛ ومتوسط تكلفة الاستفسار الواحد؛ والوقت الذي يستغرقه الاستفسار
للإجابة.
أين حطت الأرقام فعليًا
سجّل
نظام وكلاء Samaya الداخلي 50.8 بالمئة على مقياس استيفاء
التقييم في FrontierFinance، وهو الأعلى بين جميع الأنظمة المُختبرة،
متقدمًا على Claude Fable 5 بنسبة 49.2 بالمئة، وClaude Opus 4.8 بنسبة 45.0 بالمئة، وGPT-5.5 بنسبة 43.5 بالمئة. وبحسب Samaya، حقق نظامها هذه الدرجة الأعلى بنحو ربع
التكلفة المعتادة لتشغيل Claude
Fable 5 على
المهام نفسها. من بين النماذج مفتوحة الأوزان المتاحة مجانًا، وصل DeepSeek V4 Pro إلى 40.5 بالمئة، قريبًا من الأنظمة
التجارية الأغلى بينما يكلف جزءًا بسيطًا من تكلفة تشغيلها.
كشف
تفصيل النتائج حسب الفئة عن نمط ثابت: كافحت جميع الأنظمة المُختبرة، بما فيها
نظام Samaya نفسه، أكثر ما كافحت في مهام الفرز
والاكتشاف والأسئلة القطاعية والصناعية والاقتصادية الكلية الواسعة، بينما أدت
بشكل أفضل نسبيًا في المهام التي تركز على تنسيق الإجابة وعرضها بوضوح. تُعد هذه
الفجوة بين جودة التنسيق والعمق التحليلي الحقيقي على الأرجح النتيجة الأكثر إثارة
للاهتمام من أي درجة فردية في لوحة الصدارة، إذ تشير إلى أين لا تزال أنظمة الذكاء
الاصطناعي الحالية أضعف ما تكون في الأجزاء الفعلية كثيفة الحكم من العمل
الاستثماري.
معيار بنته وقيّمته الشركة نفسها
FrontierFinance
اختبار أكثر
شمولًا فعليًا من المعايير التي تركز بشكل ضيق على استخراج أرقام من الملفات
التنظيمية، وأتاحت
Samaya مجموعة
البيانات الأساسية وكود التقييم للعموم ليتحقق منها أي شخص بشكل مستقل. هذا
الانفتاح مهم، لأن
Samaya هي
أيضًا الشركة التي تصدّر منتجها التجاري الخاص النتائج التي نشرتها، وهي نقطة
حقيقية تستحق المواجهة المباشرة بدلًا من تجاهلها. تصدّر منشئ معيار لاختباره
الخاص ليس دليلًا على التحيز بحد ذاته، لكنه يعني أن التحقق الخارجي، الممكن الآن
بفضل الإصدار العام، هو الجزء الذي يحسم السؤال فعليًا لا الإعلان وحده.
حتى مع
تنحية ذلك جانبًا، تُعد النتيجة الرئيسية تذكيرًا بمدى الطريق الذي لا يزال على
الذكاء الاصطناعي المالي قطعه: استوفى النظام الأفضل أداءً في FrontierFinance بالكاد نصف نقاط التقييم التي كتبها الخبراء
عبر استفسارات المعيار الـ220. أيًا كان النظام المتصدر، فإن تقنية تتجاوز للتو
منتصف الطريق في أسئلة استثمارية واقعية لا تزال في مرحلة مبكرة من إثبات أنها
جديرة بالثقة في الأجزاء الأعلى مخاطرة والأكثر حاجة للحكم من هذا العمل.
لقد تجاوزت حدودك المجانية لمشاهدة المحتوى المميز لدينا
يرجى الاشتراك للحصول على وصول غير محدود إلى ابتكاراتنا.
Get The Latest In Innovation
Join Our Newsletter
Where bold ideas find bold readers.
