OpenAI ընկերության կողմից մշակված o3 և o4-mini արհեստական ինտելեկտի նոր մոդելները իրականությանը չհամապատասխանող պատասխաններ են տալիս ավելի հաճախ, քան իրենց նախորդ տարբերակները։ Այս մասին հայտնում է գիտահանրամատչելի Naked Science պարբերականը՝ վկայակոչելով TechCrunch-ը։

Ըստ հրապարակման՝ OpenAI-ի մասնագետներն այս պահին չեն կարողանում հստակ բացատրել այս «հալյուցինացիաների» հաճախացման պատճառը։ Ընկերության տեխնիկական զեկույցում նշվում է, որ անհրաժեշտ է «լրացուցիչ հետազոտություն»՝ խնդրի աղբյուրը բացահայտելու համար։ Նշված զարգացումը խախտում է լեզվային մոդելների զարգացման մինչ այժմ գործող տրամաբանությունը, երբ յուրաքանչյուր նոր տարբերակ ավելի լավ էր գործում, քան նախորդը։

Ընկերության ներքին փորձարկումների համաձայն՝ o3 մոդելը PersonQA ձևաչափով հարցերին սխալ է պատասխանել 33 տոկոս դեպքերում, ինչը երկու անգամ ավելի վատ ցուցանիշ է, քան o1 և o1-mini մոդելների մոտ։ o4-mini մոդելը ցուցադրել է նույնիսկ ավելի վատ արդյունք՝ 48 տոկոս սխալ պատասխան։

Transluce հետազոտական լաբորատորիայի անկախ ուսումնասիրությունը ցույց է տվել, որ o3 մոդելը պատրաստ է նույնիսկ հորինել պատասխան այն հարցին, թե ինքը ինչպես է գտնում պատասխաններ։ Բացի այդ, մոդելները հաճախ տրամադրում են անգործունակ հղումներ կամ «կոտրված» հասցեներ։ Հետազոտողների վարկածով՝ խնդիրը կարող է պայմանավորված լինել այն հանգամանքով, որ այս մոդելների ուսուցման մեթոդը խաթարում է այն մեխանիզմները, որոնք սովորաբար մեղմում են նման սխալները հետուսուցման փուլում։

Չնայած այս խնդիրներին՝ OpenAI-ն ընդգծում է, որ մոդելների նոր տարբերակները կայուն են մաթեմատիկական խնդիրների և կոդի գրանցման հարցում։ Ընկերության ենթադրությամբ՝ սխալների հաճախացման պատճառը կարող է լինել նաև այն, որ նոր մոդելները պատասխաններ են տալիս ավելի լայն և բարդ հարցերի շրջանակում։ Այդուհանդերձ, այսպես կոչված «մտածող» մոդելները՝ o3 և o4-mini, այս պահին որոշ դեպքերում ավելի վատ են գործում, քան «չմտածող» ChatGPT տարբերակը։