COMPARATIVE EVALUATION MODEL BASED ON EXPERT SYSTEMS FOR ABSTRACTIVE SUMMARIZATION OF SCIENTIFIC TEXTS

Аннотация

Рост количества научных публикаций требует применения эффективных методов реферирования научных текстов. Традиционные экстрактивные подходы не позволяют сохранять логическую структуру текста, в то время как методы абстрактивного обобщения испытывают трудности при обработке документов со сложной структурой. В настоящем исследовании предложена сравнительная модель оценки, направленная на повышение качества абстрактивного обобщения научных текстов. В исследовании представлена сравнительная оценка моделей BART-base и BART-large. Для дообучения моделей использовался корпус, содержащий 17 038 документов из баз данных arXiv и PubMed. Оценка с использованием метрик ROUGE и BLEU показала, что модель BART-large превосходит BART-base, достигнув значений ROUGE-1 = 0,2224, ROUGE-2 = 0,0695 и BLEU = 0,29. В свою очередь, модель BART-base продемонстрировала значения ROUGE-1 = 0,1932 и BLEU = 0,25. Модель BART-large также продемонстрировала более высокую связность на уровне фраз.