Cloudflare's AI Platform: an inference layer designed for agents
Cloudflare transforme sa plateforme en une couche d'inférence unifiée permettant d'accéder à des modèles d'IA de plusieurs fournisseurs via une seule API et un point d'appel commun. La plateforme propose un catalogue centralisé de plus de 70 modèles issus d'une douzaine de fournisseurs, et permet de basculer d'un modèle à l'autre avec une simple ligne de code et un ensemble unique de crédits. AI Gateway centralise la gestion et le suivi des dépenses AI multi‑fournisseurs, avec la possibilité d'ajouter des métadonnées personnalisées pour ventiler les coûts par équipe, client ou workflow. Les utilisateurs pourront apporter leurs propres modèles en conteneurisant via la technologie Cog de Replicate pour les déployer sur Workers AI, et l'équipe Replicate a été intégrée à l'équipe AI de Cloudflare. Cloudflare met en avant la proximité réseau pour réduire le temps au premier token, le support multimodal, des optimisations pour réduire les cold starts et des mécanismes de basculement automatique et de buffering pour améliorer la latence et la résilience des agents.