HANDWRITTEN TEXT RECOGNITION FOR CHAGATAI MANUSCRIPTS: COMPARING CRNN TRAINING FROM SCRATCH AND TRANSFORMER-BASED TRANSFER LEARNING

Аннотация

Цифровизация архивных чагатайских рукописей ограничена нехваткой аннотированных корпусов и сложностью курсивного письма на основе арабской графики. В данном исследовании оцениваются два подхода к распознаванию рукописного текста (HTR): CRNN на базе Kraken, обучаемая с нуля, и модель TrOCR на базе трансформера с использованием трансферного обучения. Эксперименты проводились на изображениях 2531 строки из коллекции Гуннара Ярринга (Gunnar Jarring Collection) с разбиением данных на уровне страниц для предотвращения утечки данных. Для решения проблемы нехватки данных были применены стратегии аугментации, специфичные для каждой архитектуры. Модель TrOCR, дообученная на дополненных данных, продемонстрировала наилучшие результаты, достигнув коэффициента ошибок на уровне символов (CER) 10,6% и коэффициента ошибок на уровне слов (WER) 35,59%. Аугментация данных улучшила показатели распознавания для обеих оцениваемых архитектур, при этом конфигурации с аугментацией достигли более низких значений CER и WER по сравнению с базовыми моделями. Результаты показывают, что трансферное обучение обеспечивает более эффективную стратегию инициализации для исследуемого чагатайского корпуса в условиях ограниченного объема данных. Исследование устанавливает начальный экспериментальный бенчмарк для распознавания чагатайских рукописей.