LANGUAGE ASYMMETRY IN LLMS: THE IMPACT OF NON-ENGLISH DATA ON ACCURACY AND RELIABILITY

Аннотация

В данной статье исследуется языковая асимметрия в больших языковых моделях (LLM) — тенденция моделей, обученных преимущественно на данных на английском языке, демонстрировать более низкую производительность при работе с другими языками. В рамках исследования проведена сравнительная оценка с использованием задачи рекомендации университетов для количественного определения влияния англоязычной ориентации обучающего корпуса на точность и надёжность результатов в неанглоязычных контекстах. Результаты экспериментов подтвердили значительное различие: рекомендации модели для запросов на английском языке, относящихся к США, в большинстве случаев были точными — около 83% полностью не содержали ошибок, тогда как лишь около 7% содержали критические фактические ошибки. В то же время рекомендации для аналогичных запросов, связанных с азиатским контекстом, часто содержали ошибки: только около 46% были полностью корректными, а примерно 21% содержали критические ошибки. Даже при дополнении системы более мощной моделью OpenAI улучшение было значительно более выраженным для англоязычных данных: общий уровень ошибок снизился примерно с 30% до 12%. Для азиатских данных улучшение оказалось значительно более ограниченным — уровень ошибок снизился примерно с 60% до 42%, при этом около 16% ответов по-прежнему содержали серьёзные ошибки. Полученные результаты показывают, что современные большие языковые модели остаются значительно менее надёжными при обработке неанглоязычных входных данных, что создаёт определённые проблемы для их практического применения, например в сфере образования, где требуется учёт регионально-специфических знаний.