Нейросеть на C#: пошаговая сборка, квантизация и запуск на слабом железе

Зачем вообще строить нейросеть на C#?

Большинство туториалов по нейросетям написаны на Python, однако экосистема .NET позволяет встроить инференс (прогон данных через обученную модель) прямо в серверное или десктопное приложение без смены стека. Для разработчиков, уже работающих на C#, это короткий путь от эксперимента до продакшена.

Оригинальный материал подробно разбирает, что стоит за «форматами сжатия» моделей и почему аппаратная поддержка конкретного формата определяет, удастся ли вообще запустить нейросеть на вашем железе. Ниже собран практический маршрут: от подготовки среды до первого запуска, с учётом всех подводных камней.

Что понадобится

• Среда разработки: Visual Studio 2022 или VS Code с расширением C# Dev Kit.
• Фреймворк: .NET 8 SDK (актуальная LTS-версия).
• Библиотека для работы с тензорами: TorchSharp или ONNX Runtime для C#. TorchSharp даёт привычный «pytorch-подобный» API внутри .NET.
• Оперативная память: от 8 ГБ для экспериментов с квантованными моделями формата INT4 (Q4). Для обучения в FP32 потребуется значительно больше.
• Видеокарта: необязательна для инференса квантованных моделей, но для обучения нужна карта с поддержкой CUDA или ROCm.
• Время: 2 часа на первый рабочий прототип, если среда уже установлена.

Пошаговая инструкция

1. Создайте консольный проект .NET 8.

dotnet new console -n MyNeuralNet
cd MyNeuralNet

1. Подключите TorchSharp через NuGet.

dotnet add package TorchSharp
dotnet add package TorchSharp-cpu

Пакет TorchSharp-cpu подтягивает нативные библиотеки LibTorch для работы на процессоре. Если есть CUDA-карта, замените на TorchSharp-cuda-windows или аналог для Linux.

1. Определите архитектуру сети. Простейший пример: двухслойный перцептрон для классификации. Веса (числа с плавающей запятой, по умолчанию FP32) хранятся в каждом слое как тензоры, многомерные массивы чисел.

using TorchSharp;
using static TorchSharp.torch;
using static TorchSharp.torch.nn;

var model = Sequential(
    Linear(784, 128),
    ReLU(),
    Linear(128, 10)
);

1. Настройте оптимизатор и функцию потерь. Оптимизатор Adam хранит внутренние состояния (моменты первого и второго порядка) в FP32, это те самые «чувствительные места», которые нельзя переводить в INT4 без потери стабильности обучения.

var optimizer = torch.optim.Adam(model.parameters(), lr: 0.001);
var loss_fn = CrossEntropyLoss();

1. Запустите цикл обучения. Градиент (вектор, показывающий, в какую сторону и насколько нужно изменить каждый вес, чтобы ошибка уменьшилась) вычисляется на каждом шаге. Если градиенты хранятся в формате с низкой ёмкостью, они «застревают» на локальных минимумах, и сеть перестаёт улучшаться.

for (int epoch = 0; epoch < 10; epoch++)
{
    var output = model.forward(trainData);
    var loss = loss_fn.forward(output, trainLabels);
    optimizer.zero_grad();
    loss.backward();
    optimizer.step();
    Console.WriteLine($"Epoch {epoch}, Loss: {loss.item<float>()}");
}

1. Сохраните обученную модель и при необходимости квантуйте. Квантизация применяется к уже обученной модели: веса пересчитываются из FP32 в INT8 или INT4. Это уменьшает размер файла и требования к памяти при инференсе.

model.save("model_fp32.dat");

Для квантизации удобнее экспортировать модель в формат ONNX и применить инструменты ONNX Runtime, которые тоже имеют C#-привязки.

1. Загрузите квантованную модель для инференса. Именно здесь нейросеть на C# получает практическое преимущество: квантованная модель формата Q4 занимает в четыре-восемь раз меньше памяти и запускается даже на офисном ноутбуке без дискретной видеокарты.

Почему нельзя просто обучать сразу в INT4?

Исходный материал подчёркивает ключевую ловушку: если всю модель полностью перевести на более слабую ёмкость (с FP32 на INT4), обучение становится нестабильным. Градиенты при малой разрядности теряют тонкие различия между шагами оптимизации и «застревают» на локальных минимумах, точках, где ошибка не нулевая, но градиент слишком грубый, чтобы найти выход.

Поэтому на практике чувствительные компоненты (сами градиенты и состояния оптимизатора Adam) оставляют в FP32 или BF16, а квантизацию применяют только к финальным весам уже после обучения.

Аналогия: это как рисовать карандашом с тонким грифелем (FP32), а потом печатать постер с более грубым растром (INT4). Если сразу рисовать толстым маркером, мелкие детали потеряются безвозвратно.

Что скрывается за «форматами» на уровне железа?

Автор исходного материала напоминает: все форматы (FP32, INT8, FP8) это не «волшебные типы данных», а способы интерпретации одной и той же двоичной последовательности. На физическом уровне существует только бит (уровень заряда или напряжения), всё остальное это договорённости.

Когда выходит новость «ускоритель AMD MI300 аппаратно поддерживает FP8», это означает, что в чипе физически есть транзисторы, объединённые в логические схемы для операций над восьмибитными числами с плавающей запятой. Нет такой схемы, нет аппаратной поддержки, и операции придётся эмулировать программно, что медленнее.

Отдельная тонкость: квадрит (единица с четырьмя состояниями) и INT2 (интерпретация двух бит как целого числа) имеют одинаковую ёмкость, но это разные вещи. INT2 это конкретная интерпретация комбинаций 00, 01, 10, 11 как чисел. Квадрит это информационная единица с четырьмя различимыми состояниями, которые могут означать что угодно.

Что делать с этим прямо сейчас, по ролям

Разработчику на C#: начните с TorchSharp и простой модели из шагов выше. Нейросеть на C# не требует перехода на Python: весь цикл от обучения до инференса закрывается внутри .NET.

Автору Дзена без технического фона: если вы пишете про ИИ, запомните главное: квантизация это не «ухудшение модели», а компромисс между размером и качеством уже после обучения. Обучать сразу в низкой точности нельзя без специальных приёмов.

Предпринимателю в РФ: для локального запуска квантованных моделей не нужны облачные GPU. ONNX Runtime работает на обычных серверах и даже на ARM-устройствах. Из доступных в РФ инструментов для экспериментов с нейросетями подойдут YandexGPT API (для сравнения результатов) и локальные сборки через Ollama.

Понимание разницы между ёмкостью и точностью, между квантизацией и обучением с низкой разрядностью, это то, что отличает человека, который запускает нейросети осмысленно, от того, кто копирует команды из туториала и удивляется, почему модель выдаёт мусор.