Локальные нейросети за 7 500 ₽: энтузиаст собрал ИИ-сервер из б/у железа

Русскоязычный разработчик опубликовал пошаговый отчёт о сборке домашнего ИИ-сервера на бюджетном, частично устаревшем железе. Проект интересен не мощностью, а воспроизводимостью: каждый компонент можно найти на российских досках объявлений, а весь софт бесплатный и открытый. Для аудитории, которая слышала про локальные нейросети, но считала, что для запуска нужна видеокарта за сто тысяч, это наглядное опровержение.

Что удалось запустить на старом железе?

• Две бюджетные видеокарты вместо одной дорогой. Автор объединил две Nvidia GTX 1660 Super (по 6 ГБ видеопамяти каждая, итого 12 ГБ VRAM). VRAM (видеопамять) напрямую определяет, какого размера модель поместится в карту. Утилита Ollama (бесплатный инструмент для запуска локальных нейросетей) сама разделила модель между картами поровну, по 4,5 ГБ на каждую, без ручной настройки.

• Серверная плата с барахолки за 7 500 рублей. Gigabyte GA-X79-UP4 на сокете LGA2011 с процессором Intel Core i7-3930k (6 ядер, 12 потоков). Платформа старая, поддерживает только DDR3, но для задачи это не критично: вся работа модели идёт в видеопамяти, а не в оперативной.

• Модель Qwen 2.5 7B для русского языка. Автор выбрал именно эту открытую модель, потому что она, по его словам, хорошо обучена русскому и помещается в 12 ГБ видеопамяти с запасом под контекст.

• Режим работы на полной скорости шины. После перестановки карт местами обе заработали в режиме PCIe Gen3 x16. В простое карты сбрасывают частоту шины до Gen1 ради энергосбережения, под нагрузкой выходят на полную скорость автоматически.

• Интеграция с сайтом через пять Python-скриптов. Автор подключил нейросеть к веб-сайту: ИИ получает сообщения пользователей, парсит (собирает) новостные заголовки и отвечает в рамках заданной роли. Всё работает в один поток, параметр OLLAMA_NUM_PARALLEL выставлен в 1, потому что ресурсы ограничены.

Как попробовать самому?

1. Найдите видеокарту с достаточным объёмом VRAM. Для модели на 7 миллиардов параметров нужно от 6 ГБ видеопамяти. Автор использовал две GTX 1660 Super (суммарно 12 ГБ). Одной карты с 8 ГБ тоже хватит для старта, но модель займёт почти всю память.

2. Установите Ubuntu и драйверы Nvidia. Автор использовал Ubuntu 24.04, отключил графическую оболочку и поставил проприетарные драйверы Nvidia. Это важно: без правильных драйверов Ollama не увидит видеокарту.

3. Установите Ollama и скачайте модель. Ollama ставится одной командой с официального сайта. Запуск модели: ollama run qwen2.5:7b. Утилита сама скачает модель и распределит её по доступным видеокартам.

4. Проверьте распределение нагрузки. Утилита nvtop покажет, как загружены карты и на какой скорости работает шина PCIe. Если одна из карт работает в урезанном режиме, попробуйте поменять карты местами в слотах, автору это помогло.

Чем отличается от облачных сервисов в России?

Для автора Дзена или предпринимателя, которому критична конфиденциальность, локальный вариант даёт контроль. Для быстрых задач вроде «перепиши абзац» облачные сервисы пока удобнее.

Частые вопросы

Обязательно ли две видеокарты?

Нет. Одна карта с 8 ГБ VRAM потянет модель Qwen 2.5 7B. Две карты дают запас: модель занимает меньше памяти на каждой, остаётся место под контекст (историю диалога, которую модель «помнит» в рамках сессии). Автор выбрал две, потому что одна GTX 1660 Super у него уже была, а вторую нашёл недорого на вторичке.

Можно ли запустить локальную нейросеть на Windows?

Ollama работает и на Windows. Но автор отчёта использовал Ubuntu 24.04, отключив графическую оболочку, чтобы видеокарты отдавали всю память модели, а не тратили её на отрисовку рабочего стола. На Windows часть VRAM уйдёт на интерфейс системы, и для карт с 6 ГБ это может стать проблемой.

Зачем старая серверная плата, если можно взять обычную?

Обычная игровая плата чаще всего имеет один полноскоростной слот PCIe x16. Второй слот работает в урезанном режиме x4 или x8. Для распределения модели между двумя картами важна пропускная способность шины: чем она выше, тем быстрее карты обмениваются данными. Gigabyte GA-X79-UP4 даёт два слота в режиме x16, поэтому автор и выбрал её, несмотря на устаревшую память DDR3.