Пиранези против ИИ: фотография или гравюра, CLIP принял за гравюры 16 снимков из 24

Джованни Баттиста Пиранези, итальянский архитектор и гравёр XVIII века, жил с 1720 по 1778 год. Многие европейцы знакомились с Римом по его листам раньше, чем видели город сами. Автор опыта решил проверить подозрение, что за подробностью гравюр стоят снимки, и взял для этого CLIP, готовую нейросеть компании OpenAI, которая сравнивает картинку с несколькими текстовыми описаниями и выбирает самое подходящее.

Что показал опыт с нейросетью?

• Исходные картинки нейросеть различила верно. 20 гравюр из 20 получили ответ «гравюра», 24 фотографии из 24 получили ответ «фото».
• Штрихи сбили модель. Автор заменил плавные тени на фотографиях тонкими штрихами и добавил линии по краям предметов. После этого 16 из 24 снимков получили ответ «гравюра».
• Цвет ни при чём. Чёрно-белый вариант снимков ответ не изменил.
• Хватило одних очертаний. Версия только с контурами предметов дала ответ «гравюра» для 14 фотографий из 24.
• Результат повторяется. Повторный запуск на исходных снимках снова дал «фото» для всех 24.

Ремарка по делу: нейросеть не дообучали на Пиранези. Её взяли в готовом виде и для каждого варианта ответа задали по четыре близких описания, то есть промпта (текстового запроса к нейросети). Автор подчёркивает: фотографию тоже можно перерисовать линиями, поэтому по виду штрихов вопрос об образце не решить.

Откуда взялась версия про камеру?

В описании одного из роликов рассуждение такое: пятьсот листов за десять лет, почти по одному в неделю, значит, был способ быстро получать изображения. Объяснением называют камеру-обскуру, тёмный ящик или комнату, куда через отверстие или линзу попадает свет и на стенке появляется изображение того, что снаружи.

Художник может такое изображение обвести, но сам прибор снимка не сохраняет. Для фотографии нужен ещё материал, на котором свет оставляет след. Устройство камеры показывает Оксфордский музей истории науки.

Цифры не говорят о невозможной скорости

По каталогу музея Гетти, 135 крупных листов «Видов Рима» создавались с 1746 по 1778 год. Это около 4,2 нового вида в год.

Для всего творчества Пиранези музей Бойманса ван Бёнингена приводит оценку около 2,3 работы в месяц и рассказывает о работе помощников. С готовой пластины печатают много листов, поэтому каждый экземпляр заново не рисуют.

Как повторить проверку самому?

1. Возьмите цифровые копии гравюр. Автор использовал 20 работ из коллекции Art Institute of Chicago: 18 из «Видов Рима» и две с изображением скелетов и памятников. «Воображаемых тюрем» в наборе нет.
2. Подберите снимки с заранее известным происхождением. В опыте это 24 случайно выбранные фотографии из 102 снимков зданий и улиц исследовательского набора York Urban Database. Выбор сделали до запуска моделей и не меняли.
3. Уменьшайте все изображения по одному правилу и отдельно сохраняйте результат для исходного размера: тонкая линия после уменьшения выглядит иначе.
4. Дайте CLIP по несколько описаний на каждый ответ, «фотография здания» и «архитектурная гравюра», затем повторите на снимках, переведённых в штрихи.

Из доступных в РФ аналогов можно назвать YandexGPT и GigaChat. Прямого сравнения их с CLIP в материале нет, поэтому результат там придётся проверять самостоятельно.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Готовая тема для статьи об искусстве: Пиранези знаком по музейным и книжным традициям, а опыт легко пересказать. Покажите читателю пять версий одного снимка и ответ машины под каждой.

Маркетологу. Если используете нейросеть для проверки «настоящее или нарисовано», помните: модель оценивает внешний вид. Обработанное фото она легко примет за рисунок.

Предпринимателю. Не стройте проверку подлинности изображений на одном ответе нейросети. Нужны контрольные картинки с известным происхождением, как в этом опыте.

Частые вопросы

Доказал ли опыт, что Пиранези не пользовался фотографиями?

Нет. Он показал, что ответ «гравюра» описывает то, что нейросеть видит сейчас, и ничего не сообщает о том, что было перед художником в начале работы.

Зачем в опыте понадобились обычные снимки?

Без них не понять, что значит ответ модели. Если прямые линии и штрихи встречаются на настоящих фотографиях, по одним линиям способ получения картинки не определить.

Нужно ли уметь программировать, чтобы повторить проверку?

Автор работал с CLIP в готовом виде, без дообучения. Подготовка штриховых версий снимков требует обработки изображений, и навыков для неё в материале не описывают.

Так что спор «Пиранези против ИИ: фотография или гравюра?» нейросеть не закрыла, зато наглядно показала, где кончаются её полномочия. Это полезнее любого громкого вывода.