Как нейросеть дает ложные срабатывания

Юрий Туманов, AppSec-инженер блока информационной безопасности «Ростелекома», опубликовал на Хабре подробный отчёт о том, как он запускал инференс (вычисление ответа моделью) на локальных LLM (больших языковых моделях, таких как ChatGPT, только развёрнутых на своём железе) для фильтрации потока SAST-срабатываний. Ключевое слово здесь «локальных»: код, пути файлов и внутренняя логика не уходят ни в какой внешний API. Эксперимент вдохновлён подходом ZeroFalse и проверялся на реальном корпусе, а не на синтетическом бенчмарке.

Почему false positive нейросети опаснее, чем кажется?

SAST (Static Application Security Testing, автоматический поиск уязвимостей в исходном коде) работает как нервный сторож: слышит каждый шорох, но регулярно принимает кофейный автомат за нарушителя. Сканер видит строку TOKEN = "***" и поднимает тревогу, хотя это может быть шаблонная заглушка.

Проблема не в самом сканере, а в масштабе. В крупном корпоративном контуре таких срабатываний тысячи. Каждое формально требует решения: подтвердить, отклонить, уточнить, передать коллеге.

False positive нейросети (ложное срабатывание, когда система ошибочно считает безопасный фрагмент угрозой) разрушает доверие. Если разработчик десять раз подряд открывает находку и видит ерунду, на одиннадцатый он закрывает не читая. Иногда он прав. Иногда нет. Так безопасность превращается в лотерею.

Что понадобится

• Модель: Qwen2.5-Coder-14B в квантизации AWQ (открытые веса, то есть модель можно скачать и запустить у себя без подписки)
• Сервер инференса: vLLM (опенсорсный движок для запуска языковых моделей)
• Железо: видеокарта с 16 ГБ видеопамяти (в эксперименте использовалась RTX 4080)
• Изолированная среда: закрытый контур без доступа к внешним API, потому что в пакет попадают фрагменты исходников, пути файлов и служебные значения
• Корпус SAST-срабатываний: выгрузка из вашего статического анализатора в формате, который можно разобрать скриптом
• Время на разметку: ручная разметка эталонных решений для калибровки промптов

Пошаговая инструкция

1. Разверните vLLM с выбранной моделью на локальном сервере. Никакого облака: данные триажа содержат фрагменты кода, имена переменных, конфигурацию. Внешняя модель может быть мощнее, но для закрытого контура она непригодна.

2. Превратите каждое SAST-срабатывание в «пакет улик» (evidence package). Не отдавайте модели сырой текст находки. Соберите структурированный набор:

3. CWE (идентификатор типа уязвимости)
4. правило сканера (rule)
5. подозрительное значение
6. source (откуда данные приходят) и sink (куда попадают)
7. trace (путь данных через код)
8. sanitizer (функция очистки) или его отсутствие
9. контекст кода вокруг срабатывания
10. признаки «шумных зон»: тесты, примеры, сгенерированный код

11. история похожих решений

12. Напишите системный промпт (system prompt, инструкция, которая задаёт модели рамки поведения) с жёсткими ограничениями. Модель должна получить не открытый вопрос «это уязвимость или нет?», а закрытое задание:

Вот CWE. Вот rule. Вот trace. Вот контекст.
Допустимые вердикты: CONFIRM / FALSE_POSITIVE / NEEDS_HUMAN.
Если данных недостаточно — обязана вернуть NEEDS_HUMAN.
Ответ строго в JSON по схеме: {verdict, evidence, confidence, cwe_check}.

1. Запретите модели «думать вслух». Без evidence package модель превращается в гадалку с уверенным голосом: красиво объяснит то, чего нет, увидит секрет в случайном UUID, закроет боевой ключ как тестовый. Галлюцинация (когда модель уверенно выдумывает несуществующие факты) при триаже безопасности это не курьёз, а пропущенная уязвимость.

2. Прогоните размеченный корпус через модель и сравните с ручными решениями. Калибруйте промпты итеративно: где модель ошибается, добавляйте уточнения в evidence package или ужесточайте условия для вердикта NEEDS_HUMAN.

3. Встройте проверенный конвейер в CI/CD-пайплайн. Модель берёт на себя первичный отсев, а человек получает только те находки, где есть проверяемые признаки: CWE, trace, контекст кода и строгий JSON на выходе.

finding_id: ******
rule: Hardcoded Credentials (secret-scan)
cwe: CWE-798
severity: High
status: To Verify
path: src/main/**/AppConfig.java : 42
match: private static final String TOKEN = "****************"
trace: source → assignment → (sink not in payload)

Что делать с этим прямо сейчас, по ролям

Автору Дзена, который пишет про технологии. Тема false positive нейросети даёт понятный сюжет для разбора: нейросеть не «решает» и не «думает», а проверяет ограниченный набор признаков по жёстким правилам. Это хороший каркас для статьи о границах ИИ, которая не скатывается ни в восторг, ни в страшилку.

Маркетологу и руководителю. Если в вашей компании есть команда разработки и процесс проверки кода, спросите, сколько часов в неделю уходит на ручной триаж. Подход с локальной моделью не требует облачной подписки и не отправляет данные наружу.

Предпринимателю в РФ. Модель Qwen2.5-Coder с открытыми весами (open weights, можно скачать и запустить без ограничений) доступна для скачивания, vLLM тоже опенсорсный. Из российских инструментов для статического анализа работают Solar appScreener и PT Application Inspector, к их выгрузкам можно применить тот же конвейер.

Принцип, который стоит забрать из этого эксперимента, укладывается в одну фразу Туманова: вопрос к модели должен звучать не «что ты думаешь?», а «вот улики, вот правила, вот допустимые вердикты, вот формат ответа, вот условия, при которых ты обязана отказаться от решения». Кто выстроит такую клетку, получит помощника. Кто не выстроит, получит генератор уверенных галлюцинаций.