اوپن ای آی دست هوش مصنوعی ایلان ماسک را رو کرد
دانش
بزرگنمايي:
راه ترقی - مهر /هفته گذشته یکی از کارمندان اوپن ای آی شرکت هوش مصنوعیxAI متعلق به ایلان ماسک را به انتشار نتایج گمراه کننده از سنجش گورک 3 با یکی از معیارهای بررسی قدرت مدل متهم کرد.
به نقل از تک کرانچ، ایگور بابوشکین یکی از بنیانگذاران xAI تاکید دارد ادعاهای این شرکت درباره قدرت گورک3 صحت دارند.
این شرکت فناوری در یک پست وبلاگی نموداری را منتشر کرد که عملکرد گورک 3 را در AIME 2025 (مجموعه ای از سوالات چالش برانگیز ریاضی از یک آزمون ریاضی) نشان می داد. البته برخی از کارشناسان اعتبار AIME را به عنوان یک معیار هوش مصنوعی زیر سوال برده اند. با این وجود AIME 2025 و نسخه های قدیمی تر این تست به طور معمول برای بررسی قابلیت های ریاضی مدل های هوش مصنوعی به کار می روند.
نمودار استارت آپ هوش مصنوعی ایلان ماسک نشان می داد عملکرد نسخه های «گورک 3 »، «گورک 3 استدلالی بتا» و «گورک 3 استدلالی مینی» در معیار AIME 2025 بهتر از مدل «o3مینی» شرکت اوپن ای آی است.
اما کارمندان اوپن ای آی در پلتفرم ایکس به این نکته اشاره کردند که در نمودارxAI امتیاز «o3مینی» در شاخص cons@64 مربوط به معیار AIME 2025 شامل نشده است. cons@64 به مدل‌های هوش مصنوعی اجازه می‌دهد تا 64 بار به سوالات پاسخ دهند و نتایج پرتکرار را به عنوان پاسخ نهایی در نظر می‌گیرد که حذف آن می‌تواند نتایج را گمراه‌کننده جلوه دهد.
بابوشکین در پلتفرم ایکس مدعی شد اوپن ای آی قبلا جدول های معیار گمراه کننده مشابه را منتشر کرده است، هرچند این جدول ها مقایسه بین عملکرد مدل های هوش مصنوعی خود بوده است.
در این میان ناتان لمبرت محقق هوش مصنوعی در پستی این نکته را ذکر کرد که نتیجه مهمترین معیار مدل های هوش مصنوعی، یعنی هزینه رایانشی و مالی هر مدل برای دستیابی به بهترین امتیاز همچنان نامشخص است. این امر نشان می دهد بیشتر معیارهای هوش مصنوعی فقط اندکی از قدرت ها و محدودیت های مدل ها را نمایش می دهند.
-
دوشنبه ۶ اسفند ۱۴۰۳ - ۱۱:۳۸:۲۱
-
۲۴ بازديد
-
-
راه ترقی
لینک کوتاه:
https://www.rahetaraghi.ir/Fa/News/1037090/