Infraestructura y precios desde operaciones

Destacado

Hugging Face ya funciona de forma nativa en TPU con TorchTPU

TorchTPU incorpora la TPU como dispositivo nativo de PyTorch, y las librerías Transformers, Diffusers y Kernels de Hugging Face ya funcionan sobre ella sin la antigua vía torch_xla. Quien aloja modelos abiertos puede probar las TPU de Google cambiando el nombre del dispositivo. Quien usa APIs alojadas no nota ningún cambio.

Qué cambia en operaciones — Si tu automatización de ventas, soporte u operaciones llama a la API de un modelo alojado, hoy no cambia nada para ti. Importa si alojas tú mismo modelos abiertos para un asistente de soporte, el procesamiento de documentos o la clasificación, y estás valorando hardware. Ahora se puede evaluar la TPU de Google Cloud con el mismo código de Hugging Face que ya ejecutas, indicando "tpu" como dispositivo. Eso convierte la prueba en una tarea de ingeniería pequeña, no en un proyecto de migración. Toma las mejoras de velocidad como cifras del propio proveedor y mide con tu modelo, tu tamaño de lote y tu objetivo de latencia antes de mover nada.

Liquid AI lanza LFM2.5-DSpark, hasta 3,2 veces más rápido

Para una empresa B2B que ejecuta un agente de chat con IA, un bot de triaje de tickets o un asistente de calificación de ventas sobre un modelo pequeño, autoalojado o desplegado en el borde, una aceleración de inferencia de 3,2x se traduce en menor latencia por respuesta y menos horas de GPU por conversación, es decir, facturas de alojamiento más bajas con el mismo volumen, o la posibilidad de ejecutar un modelo más capaz al mismo coste. Los equipos actualmente limitados por SLA de tiempo de respuesta en chat en vivo o soporte por voz, donde cada segundo de latencia del modelo se traduce en tiempo de espera del cliente, obtienen el beneficio más inmediato; los equipos que usan modelos API alojados por proveedores importantes no verán ningún cambio a menos que esos proveedores adopten técnicas similares.

Reordenar tareas dio 33 puntos de uso a un clúster GPU

La mayoría de las empresas B2B de 10 a 200 personas no operan sus propios clústeres de GPU, así que esto no es una tarea directa para ellas — pero es un dato útil cuando un proveedor dice que escalar una función de IA requiere una costosa actualización de infraestructura. Si solo reordenar tareas puede liberar 33 puntos de utilización en el mismo hardware, vale la pena preguntarle a cualquier proveedor que cotice "más cómputo" si ya optimizó lo que tiene antes de facturar hardware adicional. El ángulo aquí es palanca de negociación y escrutinio de proveedores, no un cambio operativo interno — casi nadie entre los lectores tocará un scheduler, pero sí pagará por uno indirectamente a través de los costos de inferencia o fine-tuning.