Web Uygulamaları için AI Gateway: LLM Yönlendirme, Hız Sınırları ve Krediler

Ham bir OPENAI_API_KEY'i .env dosyanıza yapıştırmak hızlı hissettiriyor — ta ki sızdırılan bir derleme günlüğü, taranmış bir istemci paketi veya kontrolden çıkan bir fetch döngüsü size bir gecede binlerce dolara mal olana kadar. Web uygulamaları için AI Gateway, uygulamanızla kullandığınız her LLM sağlayıcısı arasında tek bir akıllı aracı olarak görev yaparak bu sorunu çözer. Bu makale, bir gateway'in tam olarak nasıl çalıştığını, üretim uygulamaları için neden önemli olduğunu ve nasıl bir Next.js projesine bağlanacağını açıklıyor.

AI Gateway nedir ve nasıl çalışır? Bir AI Gateway, web uygulamanız ile yukarı akıştaki LLM API'leri arasında konuşlandırılan bir proxy katmanıdır; kimlik doğrulama, model yönlendirme, hız sınırlaması ve kredi muhasebesini tek bir yerde yönetir. Uygulamanız gateway'e bir istek gönderir; gateway doğru modeli seçer, gerçek API anahtarını çalışma zamanında enjekte eder, kullanım politikalarını uygular ve çağrıyı iletir. Kodunuz ham anahtarı hiçbir zaman görmez.

AI Gateway Nedir ve Ham API Anahtarları Neden Risk Yaratır?

API anahtarlarını doğrudan uygulama koduna gömdüğünüzde, birbiriyle bağlantılı birkaç sorun yaratırsınız:

1. Kaynak kod ifşası — Bir depoya (özel bile olsa) commit edilmiş anahtarlar, yanlış yapılandırılmış tek bir izinden uzakta herkese açık hale gelebilir.
2. Derleme günlüğü sızıntısı — Pek çok CI/CD sistemi çevre değişkenlerini ayrıntılı modda ekrana basar; bir günlükte görünen anahtar fiilen tehlikeye girmiş demektir.
3. İstemci paketi sızıntısı — Next.js gibi çerçevelerde NEXT_PUBLIC_ önekiyle başlayan veya yanlışlıkla bir istemci bileşenine aktarılan değişkenler her tarayıcıya gönderilir.
4. Merkezi iptal yok — Bir anahtar beş servise gömülüyse iptal etmek, beşini de aynı anda güncellemeyi gerektirir.

Bir AI Gateway bu dört sorunu tek bir noktada çözer: uygulamanız gateway'e doğrular, gateway ise OpenAI, Anthropic, Google veya ihtiyaç duyduğunuz başka bir sağlayıcıya doğrular. Anahtarı tek bir yerden değiştirin; tüm bağımlı servisler çalışmaya devam eder.

"Gateway, yığınınızdaki her LLM kimlik bilgisinin tek gerçek kaynağıdır. Uygulama koduna dokunmadan bir anahtarı iptal edin, değiştirin veya modeli taşıyın."

Bir AI Gateway'de Model Yönlendirme Nasıl Çalışır?

Model yönlendirme, gateway'in tanımladığınız kurallara göre belirli bir istek için hangi LLM'nin kullanılacağını seçme yeteneğidir. Yaygın yönlendirme stratejileri şunlardır:

• Maliyet yönlendirmesi — Kısa ve düşük riskli komutları daha ucuz bir modele (ör. GPT-4o mini) yönlendirin ve pahalı modelleri (GPT-4o, Claude 3.5 Sonnet) karmaşık akıl yürütme görevlerine ayırın.
• Gecikme yönlendirmesi — Bir kullanıcı gerçek zamanlı yanıt bekliyorsa gateway, mevcut en hızlı modeli tercih edebilir ve gecikme hedefleri karşılanmışsa daha yavaş ama daha zengin bir modele geçebilir.
• Görev türü yönlendirmesi — İstekleri amaca göre etiketleyin (summarize, code, classify) ve her etiketi o görev için en iyi kıyaslama performansına sahip modelle eşleştirin.
• Yedek yönlendirme — Birincil sağlayıcı 429 veya 5xx döndürürse gateway, bu mantığı uygulama kodunuzun üstlenmesine gerek kalmadan otomatik olarak alternatif bir sağlayıcı üzerinde yeniden dener.

Bu, Çok Sağlayıcılı Stratejiler İçin Neden Önemlidir?

LLM ortamı hızla değişiyor. Bugün kod üretimi kıyaslamalarında lider olan bir model üç ay içinde geride kalabilir. Yönlendirme bir gateway'de merkezileştirildiğinde model atamasını tek bir yapılandırmada değiştirirsiniz; uygulama uç noktalarınız aynı kalır. Anthropic'in model belgelerine göre tek bir sağlayıcının ürün yelpazesi içinde bile daha yeni model sürümleri 2–3 kat daha iyi fiyat-performans oranı sunabilir; bir gateway güncellemeleri anında benimsemenizi sağlar.

Bir AI Gateway Kullanmanın Web Uygulamaları İçin Faydaları Nelerdir?

Faydalar güvenlik, maliyet ve geliştirici hızı boyutlarında katlanarak artar:

1. Merkezi gizli yönetimi — Tüm LLM kimlik bilgileri için tek bir şifreli depo; hiçbir anahtar uygulamanızın koduna veya derleme çıktılarına dokunmaz.
2. Öngörülebilir maliyetler — Kullanıcı veya uç nokta başına token bütçeleri, tek bir hatalı kullanıcının aylık kotanızı tüketmesini önler.
3. Sağlayıcı bağımsızlığı — Uygulamanızda kod değişikliği yapmadan OpenAI'dan Anthropic'e geçin (veya ikisini birden kullanın).
4. Denetim ve gözlemlenebilirlik — Gateway üzerinden geçen her istek günlüğe alınabilir; token sayıları, gecikme, kullanılan model ve hata oranlarını tek bir yerde görürsünüz.
5. Basitleştirilmiş uyumluluk — Düzenlenmiş sektörlerdeki uygulamalar için kimlik bilgilerini izole, şifreli bir gateway katmanında tutmak, dağınık .env dosyalarından çok daha kolay denetlenir.

Bir AI Gateway, Geleneksel API Gateway'den Nasıl Farklıdır?

Özellik	Geleneksel API Gateway	AI Gateway
Temel kaygı	HTTP yönlendirme, kimlik doğrulama, kısıtlama	Yukarıdakilerin tümü + LLM'ye özgü anlamsal özellikler
Kimlik bilgisi yönetimi	Kendi servisleriniz için API anahtarları	Yukarı akış LLM sağlayıcı anahtarlarını yönetir
Yönlendirme mantığı	URL/metod tabanlı	Maliyet, gecikme, görev türüne göre model seçimi
Maliyet kontrolü	İstek sayısı limitleri	Kullanıcı/oturum başına token-bütçe limitleri
Akış desteği	Kısmi	Birinci sınıf SSE / parçalı akış
Yedek yönetimi	Genel yeniden deneme	Sağlayıcıya duyarlı model yedeklemesi

Geleneksel bir API gateway (AWS API Gateway veya Kong gibi) HTTP trafiğini kendi mikro servislerinize yönlendirmek için mükemmeldir. Bir AI gateway bu kavramı LLM'ye özgü ilkellerle genişletir: token sayımı, akış geçişi, model takma adları ve kredi defterleri. Üretim yığınında sıklıkla her ikisine de ihtiyaç duyarsınız, ancak farklı sorunları çözerler.

"Token bütçeleri, istek hızı sınırlarıyla aynı şey değildir. Bir AI Gateway her ikisini bağımsız olarak uygular — bir kullanıcı devasa bağlam tüketen az sayıda istek yapabilir ya da uç noktayı küçük isteklerle doldurabilir."

Hız Sınırlaması ve Kredi Yönetimi: Kontrolden Çıkan Maliyetlere Karşı Koruma

Kontrolsüz LLM kullanımı şok edici bir bulut faturası almanın en hızlı yollarından biridir. İyi yapılandırılmış bir AI Gateway çok katmanlı koruma uygular:

• Kullanıcı başına token bütçeleri — Her kimliği doğrulanmış kullanıcı bir kredi tahsisi alır; bütçesini aşan istekler sessizce ücretlendirilmek yerine açık bir hatayla reddedilir.
• Uç nokta başına hız limitleri — /api/chat rotası, token hacminden bağımsız olarak örneğin IP başına dakikada 20 istekle sınırlandırılabilir.
• Global harcama tavanı — Fatura dönemi başına toplam harcamada sabit bir tavan; gateway, maliyetlerin birikmesine izin vermek yerine tavan aşıldığında 503 döndürür.
• Model maliyet ağırlıklandırması — Gateway, bir GPT-4o çağrısının GPT-4o mini çağrısından ~15 kat daha pahalı olduğunu bilir ve kredileri yalnızca istek sayısına göre değil, orantılı biçimde düşer.

Gizli Yönetiminde En İyi Uygulamalar: Anahtarlar Her Zaman Kodun Dışında

LLM destekli uygulamalarda gizliler için sektör standardı yaklaşım:

1. Gizlileri şifreli bir kasada saklayın — Değerlerin beklemede şifrelendiği ve IAM politikasıyla erişim denetlendiği bir gizli yönetici (AWS KMS, HashiCorp Vault veya platforma özgü bir eşdeğer) kullanın.
2. Derleme zamanında değil, çalışma zamanında enjekte edin — Gizliler, Docker imajına veya Next.js derleme çıktısına baked olmak yerine Lambda veya konteyner başladığında çözümlenmelidir.
3. Gizli değerleri hiçbir zaman günlüğe kaydetmeyin — Gateway'inizin ve uygulama günlük ardışık düzenlerinizin, taşıyıcı token içerebilecek tüm başlıkları gizlemesini sağlayın.
4. Kesinti olmadan döndürün — Uygun bir kasa + gateway kurulumu, bir anahtarı tek bir girişi güncelleyerek döndürmenizi sağlar; gateway, uygulamanızı yeniden dağıtmadan bir sonraki kimlik bilgisi yenileme döngüsünde yeni değeri alır.

Mevcut Web Uygulamamı Bir AI Gateway ile Nasıl Entegre Ederim?

Next.js uygulaması için pratik bir rehber:

Adım 1 — Sunucu taraflı bir API rotası tanımlayın

app/api/chat/route.ts oluşturun. Bu rota, kullanıcının komutunu tarayıcıdan alır ve doğrudan OpenAI'ya değil, gateway uç noktanıza iletir.

// app/api/chat/route.ts
export async function POST(req: Request) {
  const { messages } = await req.json();

  const response = await fetch(process.env.AI_GATEWAY_URL + "/chat", {
    method: "POST",
    headers: {
      "Content-Type": "application/json",
      Authorization: `Bearer ${process.env.AI_GATEWAY_TOKEN}`,
    },
    body: JSON.stringify({ model: "auto", messages }),
  });

  // Yanıtı tarayıcıya aktar
  return new Response(response.body, {
    headers: { "Content-Type": "text/event-stream" },
  });
}

Dikkat: AI_GATEWAY_TOKEN, uygulamanızın gateway'e kimliğini doğruladığı kısa ömürlü bir token'dır; OpenAI anahtarı değildir. OpenAI anahtarı yalnızca gateway'in içinde yaşar.

Adım 2 — Gateway kimlik bilgilerini güvenli biçimde saklayın

AI_GATEWAY_URL ve AI_GATEWAY_TOKEN, yanlışlıkla commit edilebilecek .env.local'e değil ve kesinlikle NEXT_PUBLIC_ değişkenlerine değil, gizli deponuza girilir. Bu değerler çalışma zamanında Lambda/konteyner ortamına enjekte edilir.

Adım 3 — Gateway yapılandırmasında yönlendirme ve bütçe kurallarını belirleyin

Gateway panelinizde bir yönlendirme kuralı tanımlayın:

• model: "auto" etiketli istekler → varsayılan olarak GPT-4o mini'ye yönlendir; komut 2.000 token'ı aşarsa GPT-4o'ya yükselt.
• Kimliği doğrulanmış kullanıcı başına bütçe: günde 50.000 token.
• Yedek: OpenAI 429 döndürürse Claude 3.5 Haiku üzerinde bir kez yeniden dene.

Adım 4 — Derleme çıktısında anahtar olmadığını doğrulayın

next build çalıştırın ve .next dizininde yukarı akış anahtarlarınızın önek deseniyle eşleşen herhangi bir dize arayın. Sıfır sonuç olmalı — çünkü bu anahtarlar Next.js derleme ardışık düzeninize hiç girmedi.

Merkezi Model Yönlendirmeden Fayda Sağlayan Gerçek Dünya Kullanım Senaryoları

• AI sohbet botları — Gündelik gevezeliği hızlı ve ucuz bir modele yönlendirin; kullanıcı karmaşık çok adımlı bir soru sorduğunda akıl yürütme modeline geçiş yapın.
• İçerik üreticileri — Blog taslağı aracı, başlık oluşturmayı (hızlı, düşük token) tam makale oluşturmaktan (yüksek token, kalite kritik) ayrı olarak yönlendirebilir.
• Akıllı form asistanları — Her tuş vuruşunda LLM çağıran otomatik doldurma asistanı agresif hız sınırlamasına ihtiyaç duyar; gateway bunu uygulama katmanında kod değişikliği olmadan uygular.
• Çok kiracılı SaaS — Farklı abonelik kademeleri, uygulama katmanınız kademe-bağımsız kalırken gateway'de uygulanan farklı kredi tahsisleri alır.

Web Uygulama Geliştirme için Hangi AI Gateway'ler En İyisidir?

Doğru tercih, yığınınıza ve kontrol tercihlerinize bağlıdır. Öne çıkan seçenekler:

Gateway	En uygun	Temel özellik
Portkey	Üretim SaaS	Gözlemlenebilirlik, yedekler, önbellekleme
LiteLLM	Kendi barındırma / OSS	Geniş sağlayıcı desteği, yerel dağıtım
OpenRouter	Çok model yönlendirme	Tek API, çok sağlayıcı
Yerleşik platform gateway	Yapılandırmasız başlangıçlar	Sıfır kimlik bilgisi yönetimi yükü

FloopFloop üzerinde geliştiriyorsanız platform, model yönlendirmeyi, hız sınırlarını ve kredi yönetimini otomatik olarak işleyen yerleşik bir AI Gateway içerir. Oluşturulan Next.js uygulamanız, gateway'i yönetilen bir uç nokta üzerinden çağırır — sizin tarafınızda API anahtarı yapılandırması gerekmez ve oluşturulan kodda ya da derleme günlüklerinde hiçbir anahtar görünmez.

Sonuç

Web uygulamaları için AI Gateway, büyük ekipler için isteğe bağlı bir eklenti değildir — gerçek kullanıcıları görmeden önce LLM destekli her uygulamanın ihtiyaç duyduğu temel güvenlik ve maliyet kontrolü katmanıdır. Kimlik bilgilerini merkezileştirerek, kullanıcı başına token bütçelerini uygulayarak ve model seçimini bir yönlendirme katmanının arkasında soyutlayarak model ortamı değiştikçe aynı anda daha güvenli, daha ucuz ve geliştirmesi daha kolay bir sistem elde edersiniz. Yukarıdaki dört adımlı entegrasyonla başlayın, gizli yönetiminizi kilitleyin ve çok sağlayıcılı LLM yönetiminin operasyonel yükünü gateway'e bırakın.