AUTOMATIC AND SEMI-AUTOMATIC ANNOTATION OF KAZAKH TEXT CORPORA

Аннотация

Отсутствие крупных и качественно аннотированных корпусов по-прежнему препятствует развитию эффективных инструментов обработки естественного языка для казахского языка. В данной работе предлагается автоматическая и полуавтоматическая структура аннотирования текстовых корпусов казахского языка, включающая предварительную обработку на основе правил, машинную разметку и ручную проверку. Предложенный конвейер включает этапы очистки текста, сегментации предложений, токенизации, морфологической предварительной аннотации и разрешения неоднозначных случаев в режиме реального времени. Особое внимание уделяется трудностям, связанным с агглютинативной природой казахского языка, таким как большое количество аффиксов, гармония гласных и морфофонологические изменения. Цель предлагаемого подхода - сократить время аннотирования при сохранении высокого качества данных и лингвистической согласованности. Полученный корпус может использоваться для таких задач, как разметка частей речи, определение значений слов и синтаксический анализ предложений. Результаты показывают, что полуавтоматическая аннотация является эффективным и масштабируемым способом создания ресурсов NLP для казахского языка.