LANGUAGE ASYMMETRY IN LLMS: THE IMPACT OF NON-ENGLISH DATA ON ACCURACY AND RELIABILITY

Аңдатпа

Бұл мақалада үлкен тілдік модельдердегі (LLM) тілдік асимметрия, яғни негізінен ағылшын тіліндегі деректер негізінде оқытылған модельдердің басқа тілдерде төменірек өнімділік көрсету үрдісі зерттеледі. Зерттеу барысында ағылшын тіліне бағдарланған оқыту корпусының ағылшын тілінен басқа контекстердегі дәлдік пен сенімділікке әсерін сандық бағалау мақсатында университетті ұсыну тапсырмасы негізінде салыстырмалы бағалау жүргізілді. Эксперимент нәтижелері айқын айырмашылықты көрсетті: ағылшын тіліндегі (АҚШ) сұраныстар бойынша модель ұсынған нәтижелердің басым бөлігі дәл болды — шамамен 83%-ы толықтай қатесіз, ал тек шамамен 7%-ында маңызды фактілік қателер анықталды. Ал Азия контекстіне қатысты ұқсас сұраныстар бойынша нәтижелердің сапасы едәуір төмен болды: тек шамамен 46%-ы қатесіз, ал шамамен 21%-ында маңызды қателер кездесті. Жүйені қуаттырақ OpenAI моделімен толықтырған кезде де нәтижелердегі айырмашылық сақталды. Ағылшын тіліндегі деректер үшін жақсару айқын байқалып, қателердің жалпы деңгейі шамамен 30%-дан 12%-ға дейін төмендеді. Ал азиялық деректер үшін жақсару анағұрлым шектеулі болып, қателер деңгейі шамамен 60%-дан 42%-ға дейін ғана төмендеді; сонымен қатар жауаптардың шамамен 16%-ында елеулі қателер сақталды. Алынған нәтижелер қазіргі үлкен тілдік модельдердің ағылшын тілінен басқа тілдердегі енгізу деректерімен жұмыс істеу кезінде әлі де айтарлықтай төмен сенімділік көрсететінін аңғартады. Бұл білім беру сияқты өңірлік ерекшеліктерге негізделген нақты білімді қажет ететін практикалық қолданбалар үшін елеулі қиындықтар туындатады.