JOINT MORPHOLOGICAL DISAMBIGUATION AND POS TAGGING FOR AGGLUTINATIVE LANGUAGES

Аннотация

Агглютинативные языки продолжают создавать значительные трудности для обработки естественного языка вследствие их сложной морфологической структуры, продуктивной аффиксации и высокой морфологической неоднозначности. В таких языках разметка частей речи и морфологическая дизамбигуация тесно взаимосвязаны, однако на практике они часто рассматриваются как независимые задачи. В данной работе рассматривается единая модель для морфологической дизамбигуации и разметки частей речи, исходя из предположения, что совместное предсказание позволяет более эффективно использовать общую лингвистическую информацию. Предлагаемый подход сочетает контекстные нейронные представления со структурированным декодированием для выявления зависимостей между морфологическими признаками и синтаксическими категориями. Эксперименты, проведённые на низкоресурсном агглютинативном языке, показывают, что совместное моделирование стабильно превосходит конвейерные и независимо обученные базовые модели, особенно при обработке морфологически сложных и неоднозначных словоформ. Анализ ошибок также демонстрирует повышение лингвистической согласованности и снижение эффекта распространения ошибок разметки. Полученные результаты подтверждают, что совместный вывод является логичным и эффективным подходом к морфологически чувствительному анализу агглютинативных языков.