«Искусство и наследие доктора Эстер Махлангу»: ИИ Google восстановил её жизнь до 1980 года

Проект «Искусство и наследие доктора Эстер Махлангу» рассказал Google в своём блоге. Автор проекта, куратор ретроспективы, много лет работает с художницей и её семьёй. Её исследование посвящено южноафриканским художницам, повлиявшим на искусство с начала XX века.

Что измеряли?

Это не исследование с выборкой и замерами, а кураторский проект. Задача была такая: рассказать полную историю жизни художницы. У куратора были большие настенные росписи, камерные работы и редкие архивные материалы, но ни одного документа о жизни Эстер до 1980 года.

Пробел закрывали через её собственную память. Команда провела серию встреч и интервью с художницей и записала её рассказы о годах, от которых не осталось фотографий. Например, о том, как в 10 лет она поняла, что умеет рисовать, и рисовала перьями вместо кисти.

Дальше подключили метод «синтетических воспоминаний» (synthetic memories). Это когда ИИ, то есть искусственный интеллект, рисует картинку по устному рассказу человека, чтобы показать то, что никто не снял на камеру. Метод разработала исследовательская и дизайнерская студия Domestic Data Streamers.

Технической частью занимались Google DeepMind, исследовательская ИИ-лаборатория Google, и Google Arts & Culture Lab. Процесс шёл в два шага:

• по воспоминаниям Эстер и архивным материалам команда сгенерировала статичные изображения;
• затем инструмент Veo, нейросеть Google для создания видео, превратил эти изображения в ролики.

Что обнаружили?

Главный результат проекта не цифра, а восстановленный период биографии. Вот что получилось на выходе:

• Задокументирован период с 10 лет до 1980 года. До проекта в архивах о нём не было ничего.
• Генерация разбудила новые воспоминания. По словам куратора, работа с изображениями «подтолкнула саму Эстер к новым воспоминаниям» и приблизила команду к её творчеству.
• Онлайн-архив вырос до более чем 45 историй. Восстановленные рассказы вошли в общий архив жизни художницы.
• Более 45 выставок собраны вместе с партнёрами. Среди них Art of Contemporary Africa, Iziko Museums of South Africa, Британский музей, Jean Pigozzi Collection, Национальный музей женщин в искусстве и Serpentine.
• Историю рассказывают разными способами: через сами работы, архивы и панорамы Street View.

Ретроспектива получила название по словам самой художницы: «Тогда я поняла, что хорошо рисую». В этом заметен расчёт: Google ставит в центр голос героини, а не технологию.

Вторая оговорка: цифр о качестве или точности генерации в материале нет. Сколько изображений создали, сколько роликов вошло в выставку и сколько отбраковали, Google не сообщила.

Что это значит для вас?

Проект показывает рабочий сценарий, который можно повторить и без бюджета Google: собрать устный рассказ, превратить его в промпт (текстовое задание для нейросети) и получить иллюстрации к тому, что не сохранилось на фото.

Автору Дзена. Пишете про историю семьи, города, ремесла? Запишите рассказ старшего родственника, выделите 3-4 ярких сцены и сгенерируйте к ним картинки. Обязательно подпишите, что это реконструкция по воспоминаниям, а не фотография.

Маркетологу. История основателя или старого производства часто упирается в отсутствие архивных снимков. Реконструкция по интервью закрывает этот пробел, но только с честной пометкой, иначе вы рискуете доверием аудитории.

Предпринимателю из РФ и СНГ. Доступ к Veo из России проверяйте сами. Из доступных в РФ инструментов для картинок и видео есть Kandinsky от Сбера и Шедеврум от Яндекса.

По данным Google Arts & Culture