Игорь Градов
Игорь Градов
4 мин
ai

ИИ сдал экзамен химика по поиску лекарств на 84,5%: прогнозы свойств пока даются хуже

Создатели теста MedChemBench проверили модели GPT на задачах химика, который ищет новое лекарство, и лучшая из них, GPT-6.2 Astra, набрала 84,5% возможных баллов на реальных исследованиях.

Тест собран из 99 задач по опубликованным работам. Главный вывод такой: модель GPT-6 Astra лучше всего восстанавливает структуры молекул и объясняет результаты опытов, а выбор соединений и числовые прогнозы даются ей труднее.

Показатель Значение Источник
Задач в тесте 99 Описание MedChemBench
Статей и патентов в основе 117 Описание MedChemBench
Разных молекулярных структур 761 Описание MedChemBench
Проверено моделей GPT 11 Описание MedChemBench
GPT-6.2 Astra, режим xhigh 84,5% Описание MedChemBench
GPT-6 Astra, режим xhigh 83,3% Описание MedChemBench
GPT-6 Astra, максимальный режим 83,8% Описание MedChemBench
GPT-6.1 Sol, режим xhigh 82,0% Описание MedChemBench
GPT-6.1 Terra, режим xhigh 75,1% Описание MedChemBench
GPT-5.6 Sol, режим xhigh 58,2% Описание MedChemBench
Astra, восстановление структур 95,4% Описание MedChemBench

Что измеряли?

MedChemBench называют бенчмарком: это стандартный набор задач, своего рода экзамен с одинаковыми билетами для всех моделей. Билеты взяты из медицинской химии, где ищут вещества, способные стать лекарством.

Главная трудность этой работы в том, что улучшение одного свойства молекулы часто портит другое. Вещество может сильно действовать на белок, связанный с болезнью, но плохо всасываться или слишком быстро распадаться в организме.

Модель получает ту картину, которую видели исследователи в определённый момент работы:

  • белок-мишень, на который нацелено лекарство;
  • цели учёных;
  • соединения, изученные к этому моменту;
  • выбранные результаты опытов.

Ответы оценивают по четырём направлениям:

  • Структуры молекул. Правильно ли модель соединила атомы и сохранила стереохимию (то, как атомы расположены в пространстве, вроде левой и правой перчатки) при сборке молекулы из рисунков и химических групп.
  • Научное объяснение. Опирается ли объяснение на предоставленные данные, например почему одно соединение лучше другого.
  • Ранжирование и выбор. Соответствует ли выбор соединений заданным требованиям.
  • Прогноз свойств. Насколько предсказанные числа совпадают с измеренными в исходных работах.

Пример задачи взят из исследований ингибиторов PRMT5. Ингибитор блокирует работу белка, а PRMT5 изучают при поиске лекарств от рака. Модель должна предсказать, как три родственных соединения блокируют белок в клетках, насколько легко проходят клеточный барьер и как быстро их расщепляют ферменты печени.

Последующие опыты, которые модели не показали, выявили компромисс. Соединение 23 блокировало PRMT5 при меньшей концентрации, а соединение 24 легче проходило барьер и медленнее распадалось. За близость прогноза к реальным измерениям начисляют часть баллов.

Что обнаружили?

  • Лидеры идут почти вровень. В режиме xhigh GPT-6.2 Astra набрала 84,5%, GPT-6 Astra 83,3%, GPT-6.1 Sol 82,0%. Режим xhigh задаёт высокий уровень «усилий»: модель дольше рассуждает перед ответом.
  • Разрыв с прошлым поколением заметен в цифрах. GPT-6.1 Terra набрала 75,1%, GPT-5.6 Sol 58,2%.
  • Больше рассуждений, выше балл. В максимальном режиме GPT-6 Astra дошла до 83,8%. Авторы отмечают, что большие различия между моделями при этом сохранились.
  • Структуры читаются лучше всего. По восстановлению молекул Astra получила 95,4% баллов.
  • Одно кольцо отделяет верный ответ от провала. Требовалось собрать молекулу с кольцом из 18 атомов. GPT-6 Astra справилась во всех десяти ответах, GPT-5.6 Sol и GPT-5.6 Luna ошиблись во всех десяти. Sol построила кольцо из 15 атомов, Luna разорвала молекулу на два несвязанных куска.

Последний пример показательнее процентов. Ошибка в кольце меняет саму молекулу, и дальнейший анализ относится уже к другому веществу.

Как это читать

Это 99 задач и только модели GPT, других разработчиков в сравнении нет. Задачи построены на опубликованных работах, а не на новых лабораторных опытах. Слабые места у лидера там, где решения стоят дороже всего: выбор соединений и числовые прогнозы.

Что это значит для вас?

Тема «ИИ, лекарства и наука» хорошо читается, но легко скатывается в обещания чудес. Этот тест даёт трезвую опору: ИИ уже помогает разобраться в данных, а выбор по-прежнему остаётся за человеком.

Автору Дзена. Пишете о здоровье или науке? Опирайтесь на конкретные цифры теста вместо «ИИ изобретёт лекарство». Пример с кольцом из 18 атомов хорошо объясняет читателю, почему ответ нейросети нужно проверять.

Маркетологу. Тест разделяет «понять и объяснить» и «выбрать и предсказать число». Это полезное правило и для вашей работы: разбор отчётов и пояснение данных можно доверить модели, решение о бюджете нельзя.

Предпринимателю в РФ и СНГ. Из доступных в России аналогов можно назвать YandexGPT и GigaChat, но на MedChemBench их не проверяли. Работаете с химией или фармой? Проверяйте любую модель на своих прошлых задачах с известным ответом, по тому же принципу, что и авторы теста.

Мнение редакции dzen.guru

На мой взгляд, ценнее всего здесь не рекорд в 84,5%, а честное разделение навыков. Модель, которая собирает молекулу без ошибок, но хуже выбирает следующий шаг, работает как сильный ассистент, а не как руководитель исследования. Я бы использовал этот же подход в любой нише: сначала проверьте, правильно ли ИИ понимает исходные данные, и только потом доверяйте ему выводы.

По данным авторов MedChemBench (описание бенчмарка и препринт)

Поделиться:TelegramVK
Игорь Градов
Игорь Градов

Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».

Комментарии

Читайте также

Правка 205 столбцов DeepSeek R1 сократила оборванные рассуждения со 139 до 16 без дообучения
ai

Правка 205 столбцов DeepSeek R1 сократила оборванные рассуждения со 139 до 16 без дообучения

Авторы метода SGNE-CC v2 перенесли правку весов с Qwen3.5-0.8B на DeepSeek-R1-Distill-Qwen-1.5B, которую многие запускают локально на слабом железе, и…

5 мин
Вайбкодинг вместо подписок: таблица на коде из ChatGPT принесла больше 1 млн рублей
ai

Вайбкодинг вместо подписок: таблица на коде из ChatGPT принесла больше 1 млн рублей

Предприниматель Артём Исламов, основатель Glo Academy, рассказал в интервью каналу «Shulepov Code» о Google-таблице с выручкой больше миллиона рублей, код…

4 мин
Сколько видеопамяти нужно LLM: один диалог 128K съедает 40 ГиБ, как сама 70B в INT4
ai

Сколько видеопамяти нужно LLM: один диалог 128K съедает 40 ГиБ, как сама 70B в INT4

Автор технического разбора свёл расчёт видеопамяти под языковые модели к двум формулам и показал, что сервис чаще упирается не в веса, а в KV-кэш при десятке…

5 мин