Local LLM Modeli Eğitim ve Çalıştırma Platformu

Hybrid-LLM’yi Tanıtıyorum: Eğitim, RAG, Fine-Tuning ve Güvenli Yapay Zeka Operasyonları İçin Tamamen Çevrimdışı Kurumsal Yapay Zeka Platformu

Mevcut Durum: Platformun kullanıcı arayüzü şu anda yalnızca Türkçe olarak kullanılabilmektedir. İngilizce dahil çoklu dil desteği, gelecek sürümler için yol haritasına eklenmiştir.

Son birkaç aydır tek bir hedef doğrultusunda Hybrid-LLM üzerinde çalışıyorum: Kurumların hassas verilerini dış servislere göndermeden yapay zekâ modellerini eğitebilmesini, yönetebilmesini ve güvenli şekilde kullanabilmesini sağlamak.

Hybrid-LLM, %100 çevrimdışı (Air-Gapped) ortamlarda çalışmak üzere geliştirdiğim uçtan uca Kurumsal Yapay Zekâ Platformudur. Web tabanlı mimarisi sayesinde Windows, Linux ve macOS fark etmeksizin modern bir web tarayıcısı bulunan her cihazdan kullanılabilir.

Temel Yetenekler

• Çoklu LLM Motoru: Hugging Face Transformers, MLX ve llama.cpp (GGUF) için yerel model çalıştırma ve yönetim desteği.

• Kurumsal RAG: PDF, DOCX, JSON, CSV, Excel, Görseller (OCR), Ses dosyaları, Otomatik transkript oluşturulan videolar ve YouTube bağlantıları üzerinden anlamsal arama. Qdrant altyapısı sayesinde tüm kurumsal veriler kurum dışına çıkmadan sorgulanabilir.

• Bilgi Doğrulama Süreci: RAG ile elde edilen bilgiler doğrudan modele aktarılmaz. Önce yönetici onayından geçirilir, ardından Fine-Tuning sürecine dahil edilerek yalnızca doğrulanmış kurumsal bilgilerin modelin kalıcı bilgi tabanına eklenmesi sağlanır.

• Fine-Tuning: LoRA, QLoRA, DoRA ve MLX desteği ile Token, Epoch, Batch Size, Learning Rate ve LoRA hiperparametreleri web arayüzünden yönetilebilir.

• Quantization & De-Quantization: Modeller 2 bit ile 8 bit arasında sıkıştırılabilir; gerektiğinde tekrar float16 formatına dönüştürülerek yeniden eğitilebilir.

• Modüler Multimedya Yapay Zekâ: Görsel, video, ses ve 3D içerikler tamamen çevrimdışı üretilebilir. Yapay zekâ motorları arayüz üzerinden dinamik olarak değiştirilebilir veya işlem yükü uzak GPU sunucularına aktarılabilir.

• Güvenli Kod Yorumlayıcısı (Code Interpreter): Hassas Excel ve CSV verileri, internete çıkmadan izole bir Python ortamında analiz edilir ve Pandas ile Matplotlib kullanılarak etkileşimli grafiklere dönüştürülür.

Hybrid-LLM, geleneksel yapay zekâ uygulamalarından farklı olarak kurumsal yapay zekâ yaşam döngüsünün tamamını tek bir çevrimdışı platformda yönetmek üzere tasarlanmıştır. Bilginin sisteme alınmasından doğrulanmasına, RAG süreçlerinden Fine-Tuning’e, model yönetiminden güvenli dağıtıma ve çıkarım (inference) işlemlerine kadar tüm süreçler harici bulut servislerine ihtiyaç duymadan gerçekleştirilebilir.

Bu ekosistemi tek başıma geliştirmek, kariyerimde üstlendiğim en zorlu ve aynı zamanda en tatmin edici mühendislik projelerinden biri oldu.

Geliştirme Donanımı: Platform şu anda MacBook Air M4 (10 çekirdek CPU, 10 çekirdek GPU, 24 GB RAM) üzerinde geliştiriliyor, eğitiliyor ve test ediliyor. Eğitim veya çıkarım sırasında görülebilecek performans sınırlamaları mimariden veya optimizasyondan değil, tamamen mevcut donanım kapasitesinden kaynaklanmaktadır. Daha güçlü sistemlerde veya özel GPU sunucularında platform beklenen performans seviyesinde çalışmaktadır.

#HybridLLM #KurumsalYapayZeka #YapayZeka #OfflineAI #AirGapped #LLM #RAG #FineTuning #MachineLearning #GenerativeAI #VeriGüvenliği #AIEngineering #SoftwareEngineering #SoloDeveloper

Proje detay ve Video linki : https://www.linkedin.com/feed/update/urn:li:activity:7478060046749380608/