Yapay zeka işlemcilerinde belleğe erişim hızını artırmaya odaklanan d-Matrix, Hot Chips 2026 etkinliğinde Raptor adlı yeni hızlandırıcı mimarisini tanıttı. Şirket, geleneksel HBM yaklaşımından farklı olarak DRAM yongalarını işlemci mantığının yanına değil, doğrudan altına yerleştiriyor.
Raptor’da TSMC’nin N4 üretim süreciyle hazırlanan bir mantık yongası, özel tasarlanmış DRAM’in üzerine yerleştiriliyor. Bu yapı, işlemci ile bellek arasındaki bağlantıyı önemli ölçüde kısaltıyor. d-Matrix, bunun daha yüksek bant genişliği ve daha düşük veri aktarım gücü sağlayabildiğini belirtiyor.
100 TB/s üzerinde bant genişliği sağlıyor
Raptor’un 3D-DRAM tasarımı 32 GB bellek kapasitesi ve 100 TB/s’nin üzerinde bant genişliği sunuyor. d-Matrix’in karşılaştırmasına göre 192 GB HBM4 kullanan bir yapı yaklaşık 18 TB/s bant genişliğine ulaşabiliyor.
Dolayısıyla Raptor’un asıl öne çıktığı alan sunduğu veri aktarım kapasitesi. HBM çok daha büyük miktarda veri barındırabilirken d-Matrix’in 3D-DRAM yaklaşımı daha küçük bir veri havuzuna çok daha hızlı erişim sağlamayı hedefliyor.
Şirket bu mimariyi özellikle oyun ekran kartlarından ziyade yapay zeka iş yükleri için geliştiriyor. Bunun temel nedenlerinden biri, büyük dil modellerinin çözümleme aşamasında belleğe yönelik yoğun erişim ihtiyacı.
Bir dil modeli her yeni tokenı üretirken model verilerine ve KV cache olarak adlandırılan önbelleğe tekrar tekrar erişmek zorunda kalıyor. Bu aşamada performans, işlem gücünden çok bellek bant genişliği tarafından sınırlandırılabiliyor. Yeni çözüm de buradaki darboğazı azaltıyor.
Yeni sorunlar ortaya çıkıyor
Belleği işlemciye çok yakın yerleştirmek, verilerin daha az enerji harcayarak aktarılmasını da sağlıyor. d-Matrix, Raptor’daki bellek bağlantısının bit başına HBM4’e kıyasla yaklaşık 5 ila 8 kat daha az enerji harcadığını söylüyor.
Ancak Raptor’un ulaştığı 100 TB/s üzerindeki hızın yine de yüksek bir güç maliyeti var. Sistem, yalnızca bellek ile veri alışverişi için yaklaşık 296 W güç harcıyor. d-Matrix ayrıca Raptor’un, Nvidia’nın Rubin R200 HBM4 çözümüne kıyasla aynı alanda yaklaşık 20 kat daha fazla bant genişliği sunduğunu ve bant genişliği başına 13,5 kat daha az güç tükettiğini belirtiyor.
Bununla birlikte DRAM’i yüksek güç tüketen işlemciye bu kadar yakın konumlandırmak ısı, bellek yenileme ve güvenilirlik sorunlarını beraberinde getiriyor. Ayrıca 32 GB kapasite, HBM tabanlı yapay zeka hızlandırıcılarına göre oldukça düşük kalıyor. d-Matrix bu sorunları aşmak için daha hızlı yenileme, ECC hata düzeltme ve yedek bellek bankaları kullanıyor.
Raptor henüz ticari bir ürün değil
Raptor şu aşamada tamamlanmış ve piyasaya çıkmış bir ürün değil. Hot Chips 2026 sunumunda, planlanan ticari hızlandırıcının özellikleri ve hedeflenen teknik değerler paylaşıldı.
Şirket, teknolojinin temelini oluşturan yapıyı Pavehawk adlı 3D-DRAM test çipiyle çalışır durumda göstermişti. Bu da teknolojinin sadece bir konseptten ibaret olmadığına işaret ediyor.
Bence MoE'ye de yatırım yapılmalı 35b-a3b gerçekten hızlı. 27b ile x1 gen2 madenci kartı üzerindeki ekran kartımla 25 token hız alırken 35b-a3b MoE yapısı q4 sıkıştırılmış KV ile 55 token hız alabiliyorum. Yani çözüm daha iyi ayarlanmış MoE yapısı ve kapasitede. X1 Gen2 500MB/sn veri aktarımı sağlıyor. MoE çıkarım esnasında vibağlantının %10'unu kullanıyor. Dolayısıyla 32 GB hızlı VRAM yanında çok daha büyük parametreleri içine alacak bir kapasite gerekli. İlla HBM veya VRAM da şart değil artık. Yeterki bahsettikleri yapının yanına yeterli kapasitede mesela 250GB'lık bir HBF eklesinler. Çözüm MoE ve HBF'de ;)
Ekran kartına güçlü modeli birkez yavaş ta olsa yükle sonra unut. Bilgisayarı kapatıp açsan da model ekran kartında hazır bekliyor olacak :D
Kesinlikle mantıklı, 35B-A3B gibi MoE mimarileri sınırlı veri yollarında bile çıkarım hızını uçuruyor. Flaş (HBF) tarafındaki tek risk, dinamik uzman seçiminde flaş hücrelerinin erişim gecikmesi (latency) yüzünden işlemcinin beklemesi olabilir. Ancak HBM + 3D-DRAM hibrit katmanlandırması bu sorunu tamamen çözer. 200–300 GB'lık HBM tüm MoE modelini nanosecond seviyesinde gecikmeyle tutarken, 32 GB'lık 3D-DRAM sanki bir L2/L3 önbellek gibi 100 TB/s hızla anlık uzmanları ve KV cache'i işler. Bu kombinasyon yapay zeka hızlandırıcılarda harika bir hibrit mimari olabilir.