Yeni Kayıt
Konudaki Resimler
|
Hızlı 
Bildirim
MSSQL ve c#
Sıcak Fırsatlarda Tıklananlar
Editörün Seçtiği Fırsatlar
Daha Fazla 
Bu Konudaki Kullanıcılar:
Daha Az 
2 Misafir - 2 Masaüstü
Giriş
Mesaj
-
-
Sql de activity log a bak. Muhtemelen databaseye islem yaptigi sureden daha kisa surede sorgu geliyor. Yani sql bir requesti 1 sn de tamamliyorsa sen 400 request gonderirsen 400 sn boyunca hicbirsey gondermemen gerekir. Yoksa islemler kuyrukta bekler bekler. Sonunda beklerken timeout alirsin.
Bir de yazdigin sql lere execution plan dan bak belki hic ihtiyacin olmayan tableler cagiriyordur veya performans ve indexlerle ilgili sorunun vardir. Ve 400 farkli threadda islem yapacagina parallel querying olayina bak.
< Bu ileti mobil sürüm kullanılarak atıldı > -
veritabanında deadlock oluşuyor da olabilir. prosedür üzerinden set nocount on ile ado.net kullanabirsin ve bir de isolation level , with(nolock) komutlarını biraz araştır belki işine yarayabilir -
hasan1980125
H
kullanıcısına yanıt
wqlky ye katılıyorum dead-lock oluşuyor olabilir şu makaleyi inceleyebilirsiniz
http://melikememis.wordpress.com/2012/05/14/lock-dead-lock/ -
O programı kim yaptıysa git suratına çarp :) sp ve benzeri yapılar olmadan ust katmandan sorgu calısırsa olucagı budur.Bence database i yanlış kullanan sallama bir programdan dolayı göcüyor işlemlerin,milyonlarca istege karsılık verebilen serverler senin 400 sorguna cevap veremiyorsa hatanı programda ara derim... -
Cevaplar için teşekkürler arkadaşlar,
@Kaygerya sorgu bitmeden diğer sorguya başlamıyorum. Yani kuyruktan bir veri çekiyorum ve veritabanı işlemleri yapıyorum. İşlemler bittiğinde bir sonraki veriye geçiyorum. İş hattı bu şekilde. Tabi multithread çalıştığı için diğerleri ile aynı anda sorgular yapıyor.
Parallel querying'e bakıcam.
@wqlky,@converttoint32 tamam beyler dead-lock olayını araştırayım biraz.
Elimden geldiğince optimize etmeye çalışıyorum fakat ne yalan söyleyim çok hakim değilim. Öğrenicez artık.
@fsh77 tamam yazıcıdan çıktı alıp yüzüne çarpıcam. -
Her bir thread paralel olarak bir sorgu atiyor. Yani sql e 400 tane sorgu ayni anda geliyor (milisaniyelik farklar olabilir)
Hic baktin mi bir sorgun ne kadar surede geliyor.
< Bu ileti mobil sürüm kullanılarak atıldı > -
Tekrar merhaba,
Response süreleri değişken bazen 100ms bazen 15-20ms.
Şuanda:
- Select komutlarına WITH(NOLOCK) eklendim.
- Yazılımda olması gereken yerlerde UPDATE'lere DEADLOCK_PRIORITY HIGH ayarladım.
- Tablonun index'lerini elden geçirdim
- Sorgu sırasında hata yakaladığımda Transaction'nını rollback yaptım. Command.Transaction.Rollback();
Benim sistemde thread'ler aynı tablo üzerinde çalışıyolar fakat her biri ID'sine göre farklı satırlarda update işlemleri yapıyor. Bu durum için başka ne gibi optimizasyonlar yapılabilir.
Bu arada dead-lock olayına bakmaya devam ediyorum. Şöyle bir göz gezdirilerek öğrenilecek gibi değil, baya derin bir mevzu. -
Benim öncelikli sorum neden 400 tane thread açıldığı olacaktır. Bu 400 thread 400 farklı yere mi bağlanıp sql update vs. yapıyor? -
400 thread örnek olarak söylemiş arkadaş. Şuanda 2000 civarı bu adet.
Yazılım sunucu üzerinde çalışıyor (veritabanı da aynı sunucu üzerinde) ve farklı yerlerden bağlanan 400 adet client'ın isteklerine tek noktadan cevap veriyor. -
Eh tamam iste parallel queyinge bakarsan sorunun cozulur. 2000 paralel threadin var islem yapan ama sqlin lineer calisiyor. Tamamiyle madness . Her thread gidiyor connection aciyor satiri buluyor update ediyor baglantiyi kapatiyor. Arada birsuru restrict gozden geciriliyor. Vay efendim bu kullanicinin buradan select atma yetkisi varmi update yetkisi var mi connectionu acayim mi sirada islem var mi varsa onu mu yapayim bunu mu vs...
No lock dedigin mevzu sadece onu mu yapayom bunu mu sorusuna derman olur.
< Bu ileti mobil sürüm kullanılarak atıldı > -
Hocam max degree of parallelism'i 4'e getirdim. şuradan bakarak
Ama sorgulara ne ekleyeceğim anlamadım. Bu kendisi otomatik yapmıyordur heralde.
Client sayısı arttıkça lineer sorgu yaptığından response süreleri feci şekilde arttı. Bu paralel query olayını çözmem gerekli.
Bu dökümanı okudum. Senin tavsiye edebileceğin başka döküman var mı? Şu aşamadan sonra ne yapmam gerekiyor. Çok fazla kaynak yok açıkcası.
-
Tekrar merhaba,
Parallel quey uyguladım. Birden fazla deyim(update,insert vs..) içeren sorgularda hata yakaladığımıda transaction'ı rollback ettim. Açılıpta kapanmayan connection yok. Her bağlantıda kapatıldığında clearpool yaptım. Max Pool Size'ı ayarladım.
Şuanda her bir client'a ortalama 15ms'de cevap veriliyor. Bu kez farklı tablolardan aşağıdaki hatayı alıyorum.
Bu arada sql connection stringdeki timeout sorgunun mu yoksa bağlantının timeout süresi mi? Yani herhangibir şekilde bağlantı kapatılmadığında timeout bittiğinde bağlantı kapanacak anlamına geliyor değil mi?
System.Data.SqlClient.SqlException (0x80131904): Bağlantı Zaman Aşımı Doldu. Oturum açma öncesi el sıkışma bildirimini kullanmaya çalışırken zaman aşımı süresi doldu. Bunun nedeni oturum açma öncesi el sıkışmanın başarısız olması veya sunucunun zamanında yanıt verememesi olabilir. Bu sunucuya bağlanmaya çalışırken harcanan süre - [Oturum Açma Öncesi] başlatma=5001; el sıkışma=10002; ---> System.ComponentModel.Win32Exception (0x80004005): Bekleme işlem zamanı aşıldı
konum: System.Data.ProviderBase.DbConnectionPool.TryGetConnection(DbConnection owningObject, UInt32 waitForMultipleObjectsTimeout, Boolean allowCreate, Boolean onlyOneCheckConnection, DbConnectionOptions userOptions, DbConnectionInternal& connection)
konum: System.Data.ProviderBase.DbConnectionPool.TryGetConnection(DbConnection owningObject, TaskCompletionSource`1 retry, DbConnectionOptions userOptions, DbConnectionInternal& connection)
konum: System.Data.ProviderBase.DbConnectionFactory.TryGetConnection(DbConnection owningConnection, TaskCompletionSource`1 retry, DbConnectionOptions userOptions, DbConnectionInternal oldConnection, DbConnectionInternal& connection)
konum: System.Data.ProviderBase.DbConnectionInternal.TryOpenConnectionInternal(DbConnection outerConnection, DbConnectionFactory connectionFactory, TaskCompletionSource`1 retry, DbConnectionOptions userOptions)
konum: System.Data.SqlClient.SqlConnection.TryOpenInner(TaskCompletionSource`1 retry)
konum: System.Data.SqlClient.SqlConnection.TryOpen(TaskCompletionSource`1 retry)
konum: System.Data.SqlClient.SqlConnection.Open()
-
quote:
Orijinalden alıntı: fsh77
O programı kim yaptıysa git suratına çarp :) sp ve benzeri yapılar olmadan ust katmandan sorgu calısırsa olucagı budur.Bence database i yanlış kullanan sallama bir programdan dolayı göcüyor işlemlerin,milyonlarca istege karsılık verebilen serverler senin 400 sorguna cevap veremiyorsa hatanı programda ara derim...
Çok komiksin arkadaşım. Ms axapta hiç sp kullanmaz. Ben de şahsen kullanmam. Sp içinde yazacağım tüm kodu bir string içine koyar, öyle gönderirim.
< Bu ileti mobil sürüm kullanılarak atıldı > -
O axapta, komik olan sensin sanırım axap daha ciddi geldi bana :) -
Tekrar merhaba,
- Tablondan select ile verileri çeken sorguyaOPTION (QUERYTRACEON 8649,MAXDOP 0)
ekledim. Tablo üzerinde Key lookup işlemi maliyeti %73'den %60'a indi. Management studioda test ettim. Fakat c# da sorgu stringine ekleyince çalışmadı. Muhtemelen hata oluşuyo. Benim kodda web serviste olduğundan hata kodunu çıkaramadım. Başka bir şekilde derleyip hatanın ne olduğunu bulacam. Ama bilen varsa selam etsin.
- Şimdi, benim elimdeki tabloya daha öncede dediğim gibi thread'lerden sorgular geliyor(Update). Update işlemlerinde her thread kendi satırını güncelliyor. Bir thread kesinlikle başkasının satırına müdehale etmiyor. Normal şartlarda sql'in varsaydığı şekilde; Bir thread update işlemine başladığında tabloyu commit edene kadar kilitliyor. Diğer thread'ler commit edilmesini bekliyor. Burada hangi transaction-isolation-level uygun olur?
@Kaygerya
@wqlky
-
Hocam parallel querying yaptiktan sonra thread acmana gerek yok. Tek threadin olacak o threaf sqldeki update islemini parallel yapacak.
< Bu ileti mobil sürüm kullanılarak atıldı > -
Thread açmam lazım. Yoksa client'ları sırayla dinlemem lazım -ki buda çok büyük bir gecikmeye neden olur. Zaten işlem sıralı olsa sorgularda sıraya girmiş olur. her bir sorgu başlar biter ve diğerine geçer.
Benim amacım update işlemlerini aynı anda yapmak. Fakat bir update yapılırken tablo kilitleniyor ve diğerleri onu bekliyor. Bu beklemede katlanarak artıyor.
Max degree of paralellelism 4( standart versiyonda max 4 oluyormuş)
Bu arada senin bahsettiğin paralel sorgu ile bu parallelism aynı şey mi emin değilim. Parallelism sanki bana cpu maliyetini işlemler arasında dağıtan birşeymiş gibi geldi.
Sayfa:
1
Ip işlemleri
Bu mesaj IP'si ile atılan mesajları ara Bu kullanıcının son IP'si ile atılan mesajları ara Bu mesaj IP'si ile kullanıcı ara Bu kullanıcının son IP'si ile kullanıcı ara
KAPAT X
Bu mesaj IP'si ile atılan mesajları ara Bu kullanıcının son IP'si ile atılan mesajları ara Bu mesaj IP'si ile kullanıcı ara Bu kullanıcının son IP'si ile kullanıcı ara
KAPAT X
