"WHY IS THIS NEWS NEGATIVE?": AN ATTENTION-BASED VISUALIZATION TECHNIQUE FOR EXPLAINABLE SENTIMENT ANALYSIS. AN ANALYTICAL SURVEY AND CONCEPTUAL FRAMEWORK

Аннотация

Распространение архитектур на основе трансформеров ознаменовало новую эпоху в области обработки естественного языка, в которой системы анализа тональности достигли беспрецедентно высокой точности. Однако такая производительность сопровождается существенным недостатком прозрачности, вследствие чего данные модели фактически представляют собой непрозрачные «черные ящики». Этот дефицит интерпретируемости является существенным препятствием для применения подобных моделей в критически важных областях, таких как финансовый анализ и государственная политика, где обоснование принятого решения имеет такое же важное значение, как и само решение. В настоящей статье проводится всесторонний обзор данной проблемы и предлагается концептуальная модель системы объяснимого анализа тональности. Мы предлагаем использовать внутренний механизм самообслуживания внимания (self-attention) трансформера для формирования информативных визуализаций, позволяющих выявить текстовые признаки, определяющие классификацию, выполненную моделью. В статье рассматриваются теоретические основы данного подхода, анализируется ключевая дискуссия «Attention is not Explanation» («Механизм внимания не является объяснением»), а также определяются перспективные направления дальнейших исследований. Представлена архитектура системы, разработанной не только для классификации тональности текста, но и для предоставления прозрачного обоснования своих прогнозов, что способствует повышению доверия к современным системам искусственного интеллекта и уровня их подотчетности.