;
Şimdi Ara

OpenAI uyumlu LLM API'mi yaptım: kodlama ve abliterated (sansürsüz) modeller – geri bildirim

Daha Fazla
Bu Konudaki Kullanıcılar: Daha Az
2 Misafir - 2 Masaüstü
5 sn
3
Cevap
0
Favori
135
Tıklama
Daha Fazla
İstatistik
  • Konu İstatistikleri Yükleniyor
Öne Çıkar
0 oy
Sayfa: 1
Giriş
Mesaj
  • Merhaba arkadaşlar,


    Üzerinde çalıştığım bir yan projeyi paylaşmak ve fikirlerinizi almak istiyorum: Apixo (https://apixoai.online) – OpenAI uyumlu bir LLM API geçidi.


    Neden yaptım?

    Siber güvenlik geçmişim var. Pentest veya zararlı yazılım analizi yaparken büyük ticari modeller tamamen meşru sorulara bile sık sık "yardımcı olamam" diyor. Açık kaynak tarafında "abliterated" (reddetme mekanizması kaldırılmış) modeller bu soruları cevaplayabiliyor, ama bunları kendin barındırmak hem pahalı hem zahmetli. Ben de hepsini tek bir API'de topladım.


    Şu an neler var?

    - Kodlama modelleri: örneğin GLM 5.3

    - Az reddeden / abliterated (sansürsüz) modeller: örneğin DeepSeek'in abliterated sürümü

    - OpenAI uyumlu /v1 endpoint: OpenAI SDK veya OpenCode'da sadece base_url'i değiştirmen yeterli

    - Token başına ücretlendirme, resmi fiyatlardan çok daha ucuz

    - Web Playground: hiçbir kurulum olmadan direkt sohbet

    - Google veya Telegram ile giriş, yeni hesaplara deneme için küçük bir ücretsiz kredi

    - Prompt ve cevap içerikleri loglanmıyor


    Kendim barındırırken düştüğüm tuzaklar

    İlk başta 27B'lik bir GGUF modeli RunPod Serverless üzerinde llama.cpp ile çalıştırmayı denedim. Aynı şeyi deneyenler için:

    1. GGUF için llama.cpp kullanın, RunPod'un vLLM worker'ını değil.

    2. Gerçek bir OpenAI /v1 yolu sadece "Load Balancer" tipi endpoint'lerde var.

    3. Birden fazla kuantizasyon içeren GGUF reposunu "Cached model" alanına koymayın: RunPod tüm repoyu (bende ~180 GB) indirmeye çalışıyor, worker tek satır log bile yazmadan sonsuza kadar "initializing"de kalıyor.

    4. llama-server model yüklenirken /health'e 503 dönüyor, RunPod da worker'ı bozuk sayıp yönlendirmeden çıkarıyor. 256K context ile soğuk başlangıç ~5 dakika sürüyor, RunPod ise ~2 dakika bekliyor.

    Bu yüzden şu an upstream sağlayıcılar üzerinden çalışıyorum.


    Sizden ricam

    Proje henüz çok başında:

    - Hangi modellerin eklenmesini istersiniz?

    - Fiyat veya API kullanımı hakkında önerileriniz var mı?


    Denemek isteyen https://apixoai.online adresinden bakabilir. Sorusu olan yazsın, hepsine cevap vereceğim.




    _____________________________
  • Apixoai'nin RunPod/serverless tuzaklarını ve token-bazlı fiyatlandırma kararını net yazması işe yarayacak; özellikle upstream sağlayıcılar arasında gecikme ve hata kotasını ölçüp karşılaştırmalı bir tablo sunarsa güven artar. Fiyat ve API kullanımı tarafında küçük ama fişle ölçülebilir bir öneri: anında yanıt gerektirmeyen işleri Batch API'ye devretmek. Sayıyla'da çalışıyorum; 13 Kasım 2026'da Claude Opus 5.5'te yaptığımız ölçümde aynı 5 istek anlık gönderimde 7,8 saniyede biterken toplu işte 1 dakika 49 saniye (109 saniye) sürdü ve maliyet 0,0080 $'tan 0,0040 $'a düştü. Aynı hesap Claude Sonnet 5.5'te 10.000 yorum sınıflandırmasını standart fiyatla 15 $, Batch ile 7,5 $'a indiriyor; yani hız değil fatura kazanılıyor ve OpenAI/Anthropic'te girdi ile çıktı token fiyatı yüzde 50 düşüyor. Batch'i canlı sohbet yerine toplu çeviri/sınıflandırma/etiketleme gibi bekleyebilir işlerde kullanıp, sohbet uçlarında normal /v1 endpoint'i korursan hem stabilite hem maliyet dengesi oturuverir; detayları ve sınır değerlerini (OpenAI: 50.000 istek / batch, Claude: 100.000) https://sayiyla.com/yazilar/openai-ve-claude-batch-api-toplu-islem-indirimi/ yazımızda kaynaklarıyla bulabilirsin.

    _____________________________




  • Yapay Zeka’dan İlgili Konular
    Daha Fazla Göster
    
Sayfa: 1
- x
Bildirim
mesajınız kopyalandı (ctrl+v) yapıştırmak istediğiniz yere yapıştırabilirsiniz.