AWS объявила об инференсе внутри страны для Kimi K3 в Amazon Bedrock: запросы к модели теперь можно обрабатывать целиком на территории Индии. Kimi K3 - мультимодальная open-weight модель от Moonshot AI. При выходе компания заявляла о frontier-уровне в программировании и в общих агентных задачах.
Два профиля, два компромисса
Kimi K3 доступна через межрегиональные профили инференса. Вы обращаетесь к модели из исходного региона, а Bedrock направляет запрос в регион назначения. Какие регионы назначения допустимы, определяет идентификатор профиля, который вы вызываете:
- Глобальный (
global.moonshotai.kimi-k3): AWS рекомендует его для большинства случаев как самый дешевый и самый широко доступный вариант. - Индийский географический (
in.moonshotai.kimi-k3): для нагрузок, где обработка должна оставаться в регионах Мумбаи и Хайдарабад.
По словам AWS, трафик между регионами шифруется и идет по сети AWS, а строить для этого мультирегиональную VPC-инфраструктуру не нужно. Какие исходные регионы могут вызывать каждый профиль, смотрите в карточке модели.
Что придется поменять
В примере из публикации исходным регионом служит Мумбаи. Там же показана IAM-политика, которая разрешает модель в обоих индийских регионах и индийский профиль инференса. Организациям, которые ограничивают регионы AWS, нужно оставить исходный регион разрешенным и допустить маршрутизацию в оба индийских направления. Там, где это подходит, AWS предлагает исключение, привязанное к профилю. К модели можно обращаться через совместимые с OpenAI API Chat Completions и Responses, а также через Converse и InvokeModel.
Для аудита важна одна деталь: метрики и логи хранятся в исходном регионе, откуда пришел запрос, независимо от того, какой регион его обработал. Регион назначения можно увидеть в событиях данных CloudTrail.
Пример с документами
Возможности профиля AWS показывает на скане счета за электричество на хинди. Модель читает изображение напрямую, извлекает поля в JSON по заданной схеме, пишет краткое содержание на английском и отвечает на уточняющие вопросы на хинглише. Отдельных шагов OCR и перевода не нужно. AWS советует проверять качество извлечения на своих задачах, а для критичных процессов добавлять валидацию или ручную проверку.
Как снизить расходы
В публикации упомянут уровень обслуживания flex со скидкой 50 процентов к стандартной цене для задач, терпимых к задержкам, и уровень priority за более высокую цену. Кеширование промптов, неявное или явное, удешевляет повторяющиеся префиксы запросов. Отличается ли цена индийского профиля от глобального, в публикации не сказано, поэтому смотрите страницу с ценами.
AWS приводит пример Ultrahuman: ее ассистент по здоровью ведет более 14 000 диалогов в день. Компания сообщает о снижении расходов на LLM на 80 процентов и об ускорении многоходовых чатов на 85 процентов благодаря кешированию промптов. Это данные самого клиента, а не независимые тесты.