Реконструирование реальных объектов. Фото: biorxiv.org
Исследователи из Киотского университета разработали нейросеть, которая способна воспроизводить изображения, которые видел человек на основе его мозговой активности. Препринт работы опубликован на bioRxiv, ее краткое описание приводит N+1.
В рамках эксперимента ученые показывали трем его участникам изображения и с помощью функциональной магнитно-резонансной томографии считывали мозговую активность. Всего были показаны 1200 различных изображений, каждое из них не менее пяти раз. После этого на парах «изображение-активность» была обучена нейронная сеть.
Дополнительно экспериментаторы добавили еще одну глубокую генеративную нейросеть (DGN), которая позволила сделать свойства полученного нейросетью изображения. Результаты исследования с DGN и без нее авторы рассматривали по отдельности.
После обучения нейросети удалось воссоздать изображения букв, геометрических фигур и предметов (например, изображений животных). Визуально более лучшие результаты были показаны при воссоздании простых объектов. Общее попиксельное совпадение между фотографией исходного объекта и полученным изображением получилось равным 79,7% без глубокой генеративной нейросети и 76,1% с ее использованием.
Исследователи также показали воссозданные и оригинальные изображения людям и попросили попарно соотнести их. В результате люди правильно угадывали пары в 96,5% случаев без DGN и в 99,1% с ее использованием.
