Perplexity AI открыла веса Decider v1.3: модель сортирует текст за $0,02 за 1 млн токенов

Нейросеть Perplexity AI многие знают как поисковик с ответами. Decider устроен иначе: это классификатор (модель, которая раскладывает текст по заданным полкам и не сочиняет ничего от себя). По данным Marktechpost, версия 1.3 сменила v1.2, где вопросы к одному тексту «видели» друг друга и ответы могли сдвигаться. Теперь каждый вопрос смотрит только на исходный текст и на себя.

Что нового в Decider v1.3?

• Функция Locate. Модель возвращает точный кусок текста и его границы. Поле задают коротко («город») или инструкцией («Найди город, где находится вакансия»). Так ищут имена и названия (NER, распознавание именованных сущностей), персональные данные (PII, например телефоны и адреса) и ответы цитатой из документа. В одном запросе можно задать до 128 таких вопросов.
• Вопросы не влияют друг на друга. Все вопросы к одному тексту по-прежнему обрабатываются за один проход.
• Текст и картинки. Модель отвечает на вопросы и про текст, и про изображение.
• Две версии. Основная v1.3 на 27 млрд параметров, Flash на 4 млрд (Hugging Face указывает 26 и 5 млрд). Flash обучили повторять ответы большой модели.
• Открытые веса. «Веса» означают сам обученный «мозг» модели. Он выложен на Hugging Face, крупном каталоге моделей, по лицензии Apache 2.0, которая разрешает свободное использование.

Что показывают цифры Perplexity?

Все результаты компания опубликовала сама, независимой проверки источник не приводит. Главный ориентир для сравнения выбран тот же, на который Perplexity опиралась при разработке: модель Jev 1.14 от TypeSafe.

• Классификация запросов, 63 задачи: точность 91,6%, на 6,54 пункта выше классификаторов, которые компания использовала до этого.
• Тематика по отраслям: v1.3 опережает Jev 1.14 во всех 7 областях, в финансах на 12,9 пункта.
• Поиск и ранжирование документов (выстраивание по полезности), 72 задачи: 83,99 балла, на 2,24 выше Jev 1.14.
• Многоязычность, 19 задач на 8 языках: 88,16% у v1.3, 86,50% у Flash, 85,41% у Jev 1.14.
• Картинки, 5 задач: 76,99% у v1.3 и 72,77% у Flash.
• Миллион реальных запросов: совпадение с оценками ведущих больших моделей 93,98%.

Как попробовать Decider v1.3?

1. Скачайте веса с Hugging Face. Нужна видеокарта, на которой поместится около 49 ГБ весов для v1.3 или около 8,5 ГБ для Flash. Сжатых облегчённых версий нет.
2. Подключите Perplexity Decisions API. Модели называются pplx-decider-v1.3 и pplx-decider-flash-v1.3, адрес запроса https://api.perplexity.ai/v1/decisions.
3. Либо обращайтесь к моделям через OpenRouter, сервис-посредник для доступа к разным нейросетям.
4. Выбирайте версию под задачу: Perplexity советует v1.3 для тонких критериев оценки, Flash для потоковой сортировки большого объёма.

Токен здесь означает кусочек слова, по которым модель считает текст. В API один запрос принимает до 256 тысяч токенов, а по тесту компании документ почти такого объёма v1.3 обработала за 16 секунд, Flash за 5.

Чем Decider отличается от YandexGPT и GigaChat?

Из доступных в РФ аналогов чаще всего называют YandexGPT и GigaChat, но это модели, которые пишут ответ словами. Decider текст не генерирует вообще: он выдаёт вероятность для каждого варианта, который вы задали заранее. Прямого сравнения с российскими моделями в источнике нет, поэтому точность сопоставлять не будем.

Кому из авторов и бизнеса пригодится Decider?

Автору Дзена. Писать за вас модель не будет. Зато через разработчика её можно научить раскладывать сотни комментариев на «вопрос», «претензия», «спам» и отвечать сначала на важное.

Маркетологу. Locate подходит для разбора откликов и анкет: вытащить город, продукт, имя из свободного текста. Компания оценивает работу в продакшене в 26,47 доллара за миллион запросов.

Предпринимателю РФ и СНГ. Самый надёжный путь, это скачать открытые веса и запустить модель на своём сервере. Тогда данные клиентов не уходят наружу, но понадобится видеокарта с большим объёмом памяти.

Частые вопросы

Можно ли с помощью Decider писать статьи?

Нет. Модель отвечает только на вопросы с готовыми вариантами: «да или нет», выбор из списка, оценка по шкале. Для текстов нужны генеративные модели.

Сколько это стоит?

Скачать и запустить у себя можно бесплатно по лицензии Apache 2.0, платите только за оборудование. В API 0,02 доллара за миллион входных токенов у v1.3 и 0,01 у Flash, ответы бесплатные.

Понимает ли Decider русский язык?

Модель проверяли на 8 языках, но какие именно, источник не раскрывает. Прежде чем строить на ней процесс, проверьте на своих русскоязычных текстах: десяток примеров покажет больше любых таблиц.