یک لایه‌ی کنترلی میان برنامه‌های شما و همه‌ی ارائه‌دهندگان مدل.
مسیریابی، جایگزینی هنگام خطا، بودجه‌ها، محدودیت نرخ، محافظ‌ها و ثبت رویدادها را یک‌جا انجام می‌دهد تا دسترسی به مدل‌ها متمرکز اداره شود، نه جدا در هر تیم. دروازهٔ API درخواست‌های HTTP را مسیریابی می‌کند و از توکن، مدل یا پرامپت چیزی نمی‌داند.