ИИ сдал экзамен химика по поиску лекарств на 84,5%: прогнозы свойств пока даются хуже
Создатели теста MedChemBench проверили модели GPT на задачах химика, который ищет новое лекарство, и лучшая из них, GPT-6.2 Astra, набрала 84,5% возможных баллов на реальных исследованиях.
Тест собран из 99 задач по опубликованным работам. Главный вывод такой: модель GPT-6 Astra лучше всего восстанавливает структуры молекул и объясняет результаты опытов, а выбор соединений и числовые прогнозы даются ей труднее.
| Показатель | Значение | Источник |
|---|---|---|
| Задач в тесте | 99 | Описание MedChemBench |
| Статей и патентов в основе | 117 | Описание MedChemBench |
| Разных молекулярных структур | 761 | Описание MedChemBench |
| Проверено моделей GPT | 11 | Описание MedChemBench |
| GPT-6.2 Astra, режим xhigh | 84,5% | Описание MedChemBench |
| GPT-6 Astra, режим xhigh | 83,3% | Описание MedChemBench |
| GPT-6 Astra, максимальный режим | 83,8% | Описание MedChemBench |
| GPT-6.1 Sol, режим xhigh | 82,0% | Описание MedChemBench |
| GPT-6.1 Terra, режим xhigh | 75,1% | Описание MedChemBench |
| GPT-5.6 Sol, режим xhigh | 58,2% | Описание MedChemBench |
| Astra, восстановление структур | 95,4% | Описание MedChemBench |
Что измеряли?
MedChemBench называют бенчмарком: это стандартный набор задач, своего рода экзамен с одинаковыми билетами для всех моделей. Билеты взяты из медицинской химии, где ищут вещества, способные стать лекарством.
Главная трудность этой работы в том, что улучшение одного свойства молекулы часто портит другое. Вещество может сильно действовать на белок, связанный с болезнью, но плохо всасываться или слишком быстро распадаться в организме.
Модель получает ту картину, которую видели исследователи в определённый момент работы:
- белок-мишень, на который нацелено лекарство;
- цели учёных;
- соединения, изученные к этому моменту;
- выбранные результаты опытов.
Ответы оценивают по четырём направлениям:
- Структуры молекул. Правильно ли модель соединила атомы и сохранила стереохимию (то, как атомы расположены в пространстве, вроде левой и правой перчатки) при сборке молекулы из рисунков и химических групп.
- Научное объяснение. Опирается ли объяснение на предоставленные данные, например почему одно соединение лучше другого.
- Ранжирование и выбор. Соответствует ли выбор соединений заданным требованиям.
- Прогноз свойств. Насколько предсказанные числа совпадают с измеренными в исходных работах.
Пример задачи взят из исследований ингибиторов PRMT5. Ингибитор блокирует работу белка, а PRMT5 изучают при поиске лекарств от рака. Модель должна предсказать, как три родственных соединения блокируют белок в клетках, насколько легко проходят клеточный барьер и как быстро их расщепляют ферменты печени.
Последующие опыты, которые модели не показали, выявили компромисс. Соединение 23 блокировало PRMT5 при меньшей концентрации, а соединение 24 легче проходило барьер и медленнее распадалось. За близость прогноза к реальным измерениям начисляют часть баллов.
Что обнаружили?
- Лидеры идут почти вровень. В режиме xhigh GPT-6.2 Astra набрала 84,5%, GPT-6 Astra 83,3%, GPT-6.1 Sol 82,0%. Режим xhigh задаёт высокий уровень «усилий»: модель дольше рассуждает перед ответом.
- Разрыв с прошлым поколением заметен в цифрах. GPT-6.1 Terra набрала 75,1%, GPT-5.6 Sol 58,2%.
- Больше рассуждений, выше балл. В максимальном режиме GPT-6 Astra дошла до 83,8%. Авторы отмечают, что большие различия между моделями при этом сохранились.
- Структуры читаются лучше всего. По восстановлению молекул Astra получила 95,4% баллов.
- Одно кольцо отделяет верный ответ от провала. Требовалось собрать молекулу с кольцом из 18 атомов. GPT-6 Astra справилась во всех десяти ответах, GPT-5.6 Sol и GPT-5.6 Luna ошиблись во всех десяти. Sol построила кольцо из 15 атомов, Luna разорвала молекулу на два несвязанных куска.
Последний пример показательнее процентов. Ошибка в кольце меняет саму молекулу, и дальнейший анализ относится уже к другому веществу.
Это 99 задач и только модели GPT, других разработчиков в сравнении нет. Задачи построены на опубликованных работах, а не на новых лабораторных опытах. Слабые места у лидера там, где решения стоят дороже всего: выбор соединений и числовые прогнозы.
Что это значит для вас?
Тема «ИИ, лекарства и наука» хорошо читается, но легко скатывается в обещания чудес. Этот тест даёт трезвую опору: ИИ уже помогает разобраться в данных, а выбор по-прежнему остаётся за человеком.
Автору Дзена. Пишете о здоровье или науке? Опирайтесь на конкретные цифры теста вместо «ИИ изобретёт лекарство». Пример с кольцом из 18 атомов хорошо объясняет читателю, почему ответ нейросети нужно проверять.
Маркетологу. Тест разделяет «понять и объяснить» и «выбрать и предсказать число». Это полезное правило и для вашей работы: разбор отчётов и пояснение данных можно доверить модели, решение о бюджете нельзя.
Предпринимателю в РФ и СНГ. Из доступных в России аналогов можно назвать YandexGPT и GigaChat, но на MedChemBench их не проверяли. Работаете с химией или фармой? Проверяйте любую модель на своих прошлых задачах с известным ответом, по тому же принципу, что и авторы теста.
На мой взгляд, ценнее всего здесь не рекорд в 84,5%, а честное разделение навыков. Модель, которая собирает молекулу без ошибок, но хуже выбирает следующий шаг, работает как сильный ассистент, а не как руководитель исследования. Я бы использовал этот же подход в любой нише: сначала проверьте, правильно ли ИИ понимает исходные данные, и только потом доверяйте ему выводы.
По данным авторов MedChemBench (описание бенчмарка и препринт)

Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».
Читайте также

Правка 205 столбцов DeepSeek R1 сократила оборванные рассуждения со 139 до 16 без дообучения
Авторы метода SGNE-CC v2 перенесли правку весов с Qwen3.5-0.8B на DeepSeek-R1-Distill-Qwen-1.5B, которую многие запускают локально на слабом железе, и…

Вайбкодинг вместо подписок: таблица на коде из ChatGPT принесла больше 1 млн рублей
Предприниматель Артём Исламов, основатель Glo Academy, рассказал в интервью каналу «Shulepov Code» о Google-таблице с выручкой больше миллиона рублей, код…

Сколько видеопамяти нужно LLM: один диалог 128K съедает 40 ГиБ, как сама 70B в INT4
Автор технического разбора свёл расчёт видеопамяти под языковые модели к двум формулам и показал, что сервис чаще упирается не в веса, а в KV-кэш при десятке…
Комментарии