Thinking Machines выпустила компактную модель Inkling 2 Small: что она умеет

5 ноября лаборатория Thinking Machines представила новую модель Inkling 2 Small. Она относится к классу так называемых разреженных моделей: при общем объёме 594 млрд параметров на обработку каждого слова (токена) активируется лишь 17 млрд. Именно это делает её интересной для бизнеса, которому важна не только точность, но и цена.

Что показали тесты

В корпоративном бенчмарке EnterpriseBench-CoreCraft модель набрала 71,8% и заняла третье место. В другом испытании, EnterpriseOps-Gym, результат скромнее — 46,8%. Разработчики отдельно приводят сравнения по разным задачам: работа с репозиториями кода (DeepSWE v1.1 — 72,1%), финансовый анализ (Finance Agent v2.1 — 67,5%), длинные тексты (LongBench v2 — 70,6%) и визуально сложные документы (MMMU Pro — 81,6%). При этом в тесте на общие фактические знания AA-Omniscience модель набрала всего 16,1 балла — меньше, чем у некоторых конкурентов. То есть преимущество Inkling не универсально, а зависит от типа задачи.

Сколько это стоит

Доступ к модели открыт через сервис Tinker. Тарифы такие: 0,30 доллара за миллион входных токенов, 0,03 доллара за кешированный вход и 1 доллар за выход. Обучение обойдётся в 1,50 доллара за миллион токенов при контексте 64K или в 3 доллара при 256K. Хранение чекпоинтов — 0,10 доллара. По словам разработчиков, низкая цена за токены ещё не гарантирует низких расходов на реальную задачу: важны нагрузки и то, сколько попыток нужно, чтобы получить пригодный результат. При запуске веса модели оставались закрытыми для внешних проверок безопасности.

Что это значит

Для обычного пользователя напрямую ничего не меняется — Inkling 2 Small ориентирована на компании и разработчиков, которым нужна модель для узких рабочих сценариев: предложить правку в коде, разобрать финансовый документ, сверить таблицу с расчётами. Именно такие задачи авторы считают подходящими для старта. А вот решение о том, доверять ли модели самостоятельно, они советуют не спешить: результаты в сложных финансовых тестах (около 14%) показывают, что проверка человеком или другой системой всё ещё нужна.

Если хотите разобраться, чем разреженные модели отличаются от обычных и почему за ними будущее экономного ИИ, узнайте больше в наших разборах.

📌 Чтобы не пропустить новые публикации, подписывайтесь там, где вам удобнее: Дзен или MAX.

💛 Если статья оказалась полезной, поддержите автора донатом.

Материал подготовлен на основе информации из открытых источников. Все права на исходные материалы принадлежат их авторам. Если вы являетесь правообладателем и возражаете против использования, свяжитесь с нами по адресу info@11st.press.