Кибербезопасность и искусственный интеллект: урок цифры с границы США, где ИИ не спас 1 050 жизней

Что показало расследование MIT Technology Review?

Журналисты MIT Technology Review и Times of San Diego в течение года изучали работу так называемой «виртуальной стены» на южной границе США. Это сеть из почти 600 башен наблюдения, дронов, аэростатов, сейсмических датчиков и даже роботов для обнаружения тоннелей, которую правительство строит уже 25 лет.

Расследование стало первым комплексным анализом гибели людей вблизи башен. Журналисты сопоставили почти 4 000 мест обнаружения останков (данные некоммерческих организаций No More Deaths, Humane Borders, а также сотни записей из Техаса) с информацией о башнях, которую собрал Electronic Frontier Foundation (Фонд электронных рубежей, одна из старейших правозащитных организаций в сфере цифровых прав).

Самые современные башни строит оборонная компания Anduril. Они оснащены камерами и ИИ, который автоматически обнаруживает и отслеживает людей, передаёт видео в контрольные центры и отправляет оповещения на смартфоны пограничных агентов. Одна из целей: быстрее находить людей, в том числе тех, кому нужна медицинская помощь.

Случай Хосе Моралеса Берналя показывает, как система не сработала на практике. 8 апреля 2024 года он пересёк границу и шёл по пустыне Нью-Мексико в зоне действия трёх башен Anduril. Его заметили не пограничники, а работники местной свалки. Они видели его утром, затем в 13:00 лежащим на песке, а в 16:00, убедившись, что он не двигается, вызвали пограничную службу. Агенты прибыли через 45 минут. Моралес был мёртв, в 110 метрах от ближайшей башни.

Аргументы за: почему ИИ-наблюдение считают необходимым?

• Масштаб границы. Южная граница США протянулась на 1 951 милю. Физически невозможно расставить людей по всей длине, и автономные башни освобождают агентов от многочасового наблюдения за мониторами.

• Скорость обнаружения. По замыслу, ИИ фиксирует пересечение границы за секунды и направляет ближайшего агента. Ведомство CBP (Служба таможенного и пограничного контроля США) публично заявляло, что технология помогает спасать жизни.

• «Ситуационная осведомлённость». Камеры, дроны и датчики дают «постоянное наблюдение» (persistent surveillance), то есть круглосуточный охват территории без перерывов на смену.

Аргументы против: где система проваливается?

• Мёртвые зоны рельефа. Топографический анализ расследования показал, что у некоторых башен реальная зона обзора составляет всего 10% от заявленной из-за холмов и складок местности.

• Гибель в зоне прямой видимости. Большинство смертей, по данным расследования, произошло не в слепых зонах: башни должны были видеть этих людей, но реакции не последовало. За тот же год в той же полосе пустыни, где погиб Моралес, в зоне трёх башен Anduril погибли ещё 18 человек. Пять из них были видны с той же ближайшей башни.

• Новейшие системы не помогают. По оценке расследования, более 110 человек погибли в зоне действия современных автономных башен Anduril с 2021 года. Проблема не в устаревшем оборудовании.

• Разрыв между обнаружением и реакцией. 24-летняя женщина погибла у башни Anduril, которая, по данным топографического анализа, имела чистую линию обзора на её местоположение. Тело пролежало незамеченным несколько недель и было обнаружено агентами при патрулировании, а не по сигналу системы.

В том же районе мужчина, пройдя милю от границы в зоне двух ИИ-башен, затащил 30-летнего брата в тень, когда тому стало трудно дышать. Пограничники заметили их, только когда мужчина сам замахал пролетавшему вертолёту. К моменту прибытия агентов брат был мёртв. : Из записей медэксперта, приведённых MIT Technology Review

Что общего с темой «кибербезопасность и искусственный интеллект» за пределами границ?

Когда мы говорим про кибербезопасность и искусственный интеллект (тема, которую в России знают в том числе по проекту «Урок цифры»), обычно имеем в виду защиту сетей и данных. Но расследование MIT Technology Review ставит более широкий вопрос: ИИ-система может работать технически, отправлять сигналы, распознавать фигуры, и всё равно не выполнять свою задачу, если между алгоритмом и результатом стоит человеческий процесс, который никто не отладил.

Это прямая параллель с корпоративной кибербезопасностью. Компания покупает ИИ-систему обнаружения вторжений, но если дежурный оператор не реагирует на оповещения или их слишком много, деньги потрачены впустую. В образовательных проектах вроде «Урока цифры» по теме кибербезопасности и искусственного интеллекта как раз учат, что технология без процесса не работает, но взрослые корпорации и целые государства повторяют ту же ошибку на миллиардных бюджетах.

Что делать с этим прямо сейчас, по ролям?

• Автору на Дзене. Если пишете про ИИ-технологии, это готовый кейс для разбора: не «нейросети захватят мир», а «нейросети не заменяют процесс, и вот доказательство за миллиарды долларов». Такой материал собирает вдумчивую аудиторию.

• Маркетологу. Прежде чем продавать ИИ-решение клиенту, проверьте: есть ли у заказчика процесс реагирования на выходные данные модели? Без этого вы продаёте башню в пустыне.

• Предпринимателю. При внедрении ИИ в охрану, мониторинг, контроль качества задайте вопрос не «обнаружит ли система проблему?», а «что конкретно произойдёт в следующие 10 минут после обнаружения?». Расследование показывает, что именно этот зазор убивает.

Через год-два тема ИИ-наблюдения станет ещё острее: бюджеты растут, башен становится больше, а расследование MIT Technology Review впервые дало публичную карту и методологию для проверки их реальной работы. Теперь у журналистов, законодателей и инженеров есть инструмент, чтобы спрашивать не «сколько башен построили», а «сколько людей система увидела и что произошло дальше», и этот вопрос применим к любой ИИ-системе, от пограничной до вашей корпоративной.