Как работает нейросеть: три операции на бумаге вместо Python и GPU

Русскоязычный разработчик, известный под именем автора письма «Дорогой, Юрик!», опубликовал пошаговый разбор внутренней механики нейросети на примере задачи XOR и «нашейного приборчика для навигации при деменции». Материал показывает, что за ответами ChatGPT и любой другой нейросети стоят не «миллион индусов», а три арифметических приёма: сдвиг пространства признаков, применение простейшей нелинейности и умножение на вес. Ни строчки кода, ни единой библиотеки.

Что понадобится

• Лист бумаги или тетрадь в клетку
• Карандаш и ластик
• Базовое понимание, что такое координатная ось (уровень школьной алгебры, 7-8 класс)
• Примерно 30 минут спокойного времени
• Желание понять, почему нейросеть иногда «галлюцинирует» (уверенно выдаёт неправильный ответ) и откуда берутся ошибки

Компьютер, Python, видеокарта и доступ к API не нужны вообще.

Пошаговая инструкция

1. Нарисуйте задачу. Возьмите простой пример: три запроса, три ответа. Автор письма предлагает «приборчик при деменции»: запрос «куда идти?» имеет числовые значения (скажем, 1, 2, 3), ответы тоже числовые. Разложите запросы по горизонтальной оси, ответы по вертикальной. Поставьте точки.

2. Попробуйте провести прямую. Это линейная регрессия, тот самый приём, который «под капотом» у каждой нейросети. Прямая пытается приблизить все точки разом. Посчитайте ошибку: насколько точки далеки от прямой. Автор получил среднеквадратичное отклонение (СКО, мера того, как сильно реальные ответы разбросаны вокруг прямой) равное 1/18. Запишите это число.

3. Убедитесь, что прямая врёт. Как бы вы ни наклоняли и ни двигали линию, какие-то ответы будут неточными. Именно здесь рождается галлюцинация: нейросеть не может точно отобразить запрос в ответ, если преобразование между ними нелинейное, а модель пытается обойтись прямой.

4. Сдвиньте пространство признаков. Вот ключевой приём. Запишите матрицу ваших запросов и прибавьте к каждому элементу константу (автор сдвигает влево на 2/3). В матричной записи это выглядит так:

Матрица запросов + Матрица сдвига = Новая матрица

[1]     [-2/3]     [1/3]
[2]  +  [-2/3]  =  [4/3]
[3]     [-2/3]     [7/3]

Формально складывать матрицу-столбец с одним числом нельзя, но здесь каждая строка это отдельная матрица 1×1, поэтому операция корректна.

1. Примените нелинейность (функцию активации). Правило простейшее, и оно называется ReLU (Rectified Linear Unit, «выпрямитель»): если значение меньше нуля, замените его на ноль; если больше или равно нулю, оставьте как есть. Пройдитесь по каждому элементу новой матрицы и примените это правило.

Правило ReLU:
Если x < 0 → результат = 0
Если x ≥ 0 → результат = x

После этого шага произойдёт то самое «чудо»: точки выстроятся в линию. Нелинейный элемент «согнул» пространство так, что линейное приближение стало возможным.

1. Умножьте на вес. Возьмите получившуюся матрицу и умножьте каждый элемент на число, которое автор называет «вес». В примере из письма вес равен 3/2. Результат даст вам правильные (или почти правильные) ответы.

Результат после ReLU × вес (3/2) = Итоговые ответы

1. Проверьте на задаче XOR. XOR (исключающее «или»), это логическая задача: пара «мальчик-девочка» (1-0) или «девочка-мальчик» (0-1) даёт результат 1; пара «мальчик-мальчик» (1-1) или «девочка-девочка» (0-0) даёт 0. Одной прямой это не разделить. Примените те же три шага (сдвиг, ReLU, умножение на вес), и убедитесь, что два «нейрона» (два таких преобразования параллельно) решают задачу.

[1/3, 4/3, 7/3]

[1/3, 4/3, 7/3]

[1/2, 2, 7/2]

Почему это работает, если объяснить одной фразой?

Нейросеть не «понимает» текст. Она берёт числовое представление слов, сдвигает его в другое пространство, обнуляет лишнее через ReLU и умножает на подобранные веса. Повторяет это миллиарды раз. Каждый такой цикл «сдвиг + нелинейность + вес» и есть один нейрон, «молекула» нейросети.

Когда нейросеть Яндекса (YandexGPT) или ChatGPT отвечает на ваш промпт (запрос к нейросети на естественном языке), внутри происходят те же три операции, только не три раза, а миллиарды.

Где здесь берутся галлюцинации?

Автор письма прямо указывает причину: «невозможность точного отображения запроса в ответ при неточном преобразовании». Если прямая не проходит через все точки идеально, ошибка неизбежна. В реальной нейросети слоёв и весов настолько много, что ошибки накапливаются и иногда дают уверенный, но ложный ответ. Это не баг, а свойство архитектуры.

Что с этого вам прямо сейчас?

Автору на Дзене. Когда нейросеть выдаёт странный ответ, вы теперь знаете почему: прямая не прошла через нужную точку. Переформулируйте промпт, сдвиньте «пространство» запроса, и модель перестроит линейное приближение. Это не магия, а геометрия.

Маркетологу. Понимание того, что нейросеть не «думает», а перемножает матрицы, снимает завышенные ожидания от автоматизации. Проверяйте каждый ответ, особенно цифры и факты.

Предпринимателю в РФ. Нейросеть Яндекса (YandexGPT), GigaChat от Сбера и другие российские модели построены на той же математике. Разница в размере модели и данных для обучения, но «молекула» та же. Если вы планируете внедрять ИИ в бизнес-процессы, знание базовой механики поможет ставить реалистичные задачи подрядчикам.

Три действия на салфетке, и вот вы уже знаете больше о нейросетях, чем 90% людей, которые ими пользуются каждый день. Осталось применить: откройте любую нейросеть, задайте промпт, получите ответ и спросите себя, «через какую прямую прошла эта точка?».