Together AI с точки зрения операций

Главное

Together AI запустила Post-Training для open-моделей

Together AI запустила Together Post-Training - сервис, который позволяет собрать собственную модель на основе открытых LLM с помощью SFT или обучения с подкреплением. Цикл обучения клиент пишет сам на выделенных GPU, инфраструктуру ведёт Together. Первые восемь недель действует вводная цена: $9 за GPU-час B200.

Что меняется для операций — Для B2B-компании на 10-200 человек это актуально, только если одна узкая задача с большим объёмом, например ранжирование лидов или оценка кандидатов, обходится слишком дорого на закрытой модели. Кейс Jack & Jill из источника именно такой: открытая модель в офлайн-тестах сравнялась с закрытой, а обслуживать её дешевле. Оплата идёт за GPU-минуту, поэтому бюджет на эксперимент стоит заложить заранее. Если в штате нет ML-специалистов, придётся опираться на forward-deployed инженеров Together: источник предлагает их как партнёрский вариант.

Together AI: классификатор тикетов за 17 долларов

Для команды поддержки, обрабатывающей несколько сотен тикетов в день, это готовый чертёж бота первой линии: на входе - сообщение клиента и существующий список интентов, на выходе - один ярлык при минимальном объёме генерации, дальше можно сразу маршрутизировать. Стоимость обучения (около 17 долларов) и время (около 25 минут) делают эксперименты на собственных исторических тикетах дешевле, чем вызов универсальной LLM для каждой классификации, а фиксированные настройки temperature=0, max_tokens=8 делают вывод достаточно предсказуемым, чтобы подавать его напрямую в правило маршрутизации или вебхук CRM без ручной проверки в случаях с высокой уверенностью.