Медицинский ИИ-чат-бот от Microsoft работает офлайн на ноутбуке: 2 500 монографий без облака

Проект опубликован как личный исследовательский прототип (Proof of Concept) автора, прикладного математика в области биомедицины. Источник, статья на GitHub, описывает систему как полностью автономный медицинский ИИ чат бот, построенный на технологии RAG (Retrieval-Augmented Generation, генерация ответов с опорой на поиск по базе документов). Система не является медицинским изделием, не ставит диагнозов и не назначает лечения.

Что именно устроено внутри?

Система решает конкретную задачу: врач или исследователь вводит вопрос на естественном языке, а медицинский ИИ чат бот ищет ответ не в интернете, а в локальной базе из 2 500 отобранных медицинских книг и статей. Технология RAG работает в два шага: сначала система находит релевантные фрагменты текста в базе, затем языковая модель формулирует ответ, опираясь именно на эти фрагменты.

Ключевое архитектурное решение: всё работает на обычном компьютере без видеокарт серверного класса и без облачных сервисов. Автор подчёркивает, что система спроектирована для условий жёстких ограничений по памяти и вычислительным ресурсам.

Агентная (agentic, когда система сама решает, какие шаги предпринять для ответа) структура позволяет не просто искать текст, но и находить медицинские изображения по словесному описанию патологии, а также визуализировать результаты инструментальных исследований в формате DICOM (стандарт хранения медицинских снимков: рентгенов, МРТ, КТ).

Три причины, почему это работает на слабом железе

Автор проекта выделяет несколько принципов, которые позволили уместить систему в рамки обычного ПК:

• Локальная индексация вместо облака. Вся база монографий проиндексирована один раз на том же устройстве, где запускается поиск. Никакой передачи данных вовне.
• Ресурсоэффективная агентная архитектура. Система использует лёгкие модели с открытыми весами (open weights, когда разработчик публикует параметры модели и любой может запустить её у себя), а не тяжёлые закрытые модели вроде GPT-4.
• Детерминированная проверяемость. Каждый ответ системы можно проверить: она указывает конкретные фрагменты источников, на которых основан ответ. Это принципиально отличает систему от обычного чат-бота, который может «галлюцинировать» (уверенно выдумывать факты).

Что обнаружили?

• Система обрабатывает около 2 500 монографий и статей на серийном локальном оборудовании без подключения к интернету.
• Покрывает три области: лечебное дело, клиническая фармакология, биохимия.
• Умеет искать изображения медицинских патологий по текстовому описанию.
• Визуализирует данные инструментальных исследований в формате DICOM.
• Все данные остаются на устройстве пользователя: система не собирает, не хранит и не передаёт персональные данные.

Что делать с этим прямо сейчас?

Врачам и медицинским работникам. Проект показывает реалистичный путь: локальный медицинский ИИ чат бот на вашем компьютере, без утечки данных пациентов в облако. Пока это прототип, но архитектура описана достаточно подробно, чтобы IT-отдел клиники оценил воспроизводимость.

Авторам Дзена, пишущим про медицину и здоровье. Тема «ИИ в медицине без облака» даёт конкретный повод для контента: объясните читателям разницу между ChatGPT (данные уходят на сервер) и локальной системой (данные остаются на вашем ноутбуке). Это понятный и актуальный угол.

Предпринимателям и разработчикам в РФ. Архитектура по умолчанию совместима с ФЗ № 152 «О персональных данных»: никакие данные не покидают устройство. Это снимает главный юридический барьер для медицинских IT-проектов в России. Из доступных в РФ инструментов для аналогичных задач можно рассматривать модели от Сбера (GigaChat) и Яндекса (YandexGPT), но для полностью локальной работы без интернета подходят только модели с открытыми весами.

Проект пока остаётся прототипом одного человека, но он отвечает на вопрос, который мучает половину медицинского IT в России: можно ли сделать полезного ИИ-ассистента для врача, не нарушая закон о персональных данных и не покупая серверную стойку. Ответ: архитектурно да, до клинического применения далеко, но направление задано.

По данным публикации на GitHub