| Постоянная ссылка (СИД2) |
J2224926251 |
| Название |
The study of the vision transformer architecture by explainability methods |
| Автор |
Utkin I. A. |
| Автор |
Shkuropatsky V. V. |
| Автор |
Pronikov A. N. |
| Автор |
Rakov E. S. |
| Источник |
Информатика, телекоммуникации и управление. Электронный журнал |
| Страницы/Объём |
54-64 |
| Сокращ. назв. источника |
Информат., телекоммуникации и упр. Электрон. ж. |
| Год |
2024 |
| Том |
17 |
| Номер |
1 |
| Адрес в Интернет |
http://elibrary.ru/item.asp?id=67355485 |
| Постоянная ссылка (СИД) |
J22249262 |
| Ключевые слова (авторские) |
визуальный трансформер%карты активации классов%карты активации обратного распространения%механизм внимания%модель машинного обучения%объяснимость%энкодер |
| Место хранения |
Удаленный доступ. Эл. регистр. НЭБ |
| Дата регистрации в ВИНИТИ |
17.06.2024 |
| Язык текста |
английский |
| Язык резюме |
русский |
| Аннотация |
В статье рассматриваются вопросы объяснимости принципов функционирования модели машинного обучения. В качестве архитектуры модели рассмотрен один из видов трансформера, задача которого состоит в классификации изображений на базе популярного датасета "ImageNet-1000". Данный тип трансформера также называется визуальным трансформером и может служить, как отдельной моделью, так и составляющей более сложной архитектуры. Методами объяснимости являлись карты активации классов, которые рассчитывались посредством применения алгоритмов на основе прямого и обратного распространения тензоров изображения через составные части трансформера: слои механизма внимания и полносвязанные многослойные сети. Цель работы состоит в повышении объяснимости внутренних процессов функционирования визуального трансформера за счет анализа полученных карт активации и расчета метрики оценивания их объяснимости. Результатом работы являются закономерности, отражающие механизмы работы визуального трансформера при решении задачи классификации изображения, а также оценивание степени важности выделяемых признаков классификации за счет применения метрики объяснимости |
| Тематический раздел |
Автоматика и радиоэлектроника |