Каныгин А.В. Интерпретация внутренних представлений BERT для задачи классификации текстов, содержащих рассуждение
Рейтинг:
/ 2
- Подробности
- Просмотров: 61
DOI: https://doi.org/10.15688/mpcm.jvolsu.2026.1.4
Александр Владимирович Каныгин
Аспирант кафедры компьютерных наук и экспериментальной математики, Волгоградский государственный университет
Аннотация. В статье исследуется задача бинарной классификации текстов на наличие в них рассуждений (логических связок, аргументации, причинно-следственных отношений). Данная задача была решена при помощи finetuning модели ruBert с более высоким качеством, по сравнению с классическими ML-подходами (TF-IDF, стэкинг моделей, статические векторы вложения + LSTM-классификатор). Полученные результаты послужили мотивацией для анализа внутренних представлений модели, направленных на выявление признаков и структурных элементов текста, которые определяют высокую эффективность BERT. В статье для анализа применена совокупность методик: визуализация [CLS]-векторов с использованием снижения размерности до 2D через UMAP, вычисление Silhouette score для каждого из 12 слоев BERT-модели, отдельные классификаторы для всех скрытых слоев модели, а также ablation study, которое оценивает, как удаление ключевых структур, определяющих рассуждение в тексте, влияет на уверенность модели. Результаты показывают существенное падение уверенности модели при удалении ключевых структур / маркеров причинно-следственных связей и логических связок. Кроме того, при помощи метрики silhouette score демонстрируется повышение способности модели различать классы по мере продвижения к высшим слоям модели. В совокупности данные наблюдения косвенно доказывают, что BERT формирует представления текста, опирающиеся на логическую структуру текста, а не только на важность отдельных токенов. В работе представлены косвенные, но последовательно согласованные между собой свидетельства того, что [CLS]-вектора, сформированные моделью BERT, определяют логическую структуру рассуждения в тексте, делая ее эффективным инструментом в частных, нетривиальных задачах анализа текста. Кроме того, результаты подчеркивают необходимость дальнейшего изучения русскоязычных языковых моделей.
Ключевые слова: машинное обучение, интерпретируемость трансформеров, BERT, классификация текстов, аргументация, скрытые представления, finetuning, NLP.
Произведение «Интерпретация внутренних представлений BERT для задачи классификации текстов, содержащих рассуждение», созданное авторами по имени Каныгин А.В. публикуется на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Цитата: Математическая физика и компьютерное моделирование. Том 29 № 1 2026, с. 38-57
 Kanygin.pdfURL: https://mp.jvolsu.com/index.php/ru/component/attachments/download/1444 | 34 Скачивания |