Üye Girişi
Bağlan Google+ ile Bağlan Facebook ile Bağlan
Yeni Kayıt
Tüm Forumlar
  • Tüm Forumlar
  • Web Tasarım - Programlama
  • Yazılım Geliştirme
  • Python
  • Bu Konuda
Şimdi Ara

Python Scriptini Cloud Server'da Çalıştırmak

Sıcak Fırsatlarda Tıklananlar
Editörün Seçtiği Fırsatlar
Daha Fazla
Bu Konudaki Kullanıcılar: Daha Az
2 Misafir - 2 Masaüstü
5 sn
24
Cevap
0
Favori
3.895
Tıklama
Daha Fazla
İstatistik
  • Konu İstatistikleri Yükleniyor
Konuya Özel
0 oy
Öne Çıkar
Cevapla
Sayfa: 12
Sayfaya Git
Git
sonraki
Giriş
Mesaj
  • Arkadaşlar merhaba, python scriptimi başlıkta belirttiğim gibi bir bulut platformunda 7/24 çalıştırmak istiyorum. Web sitesi değil, sadece kendi kendine bir şeyler yapan, konsol'un yeteceği bir şey. İnternetten araştırdım ancak bazı sorunlarla karşılaştım. Bana platform/server önerir misiniz?
    Denediklerimi, tecrübelerimi ve neden bıraktığımı söyleyeyim:


    1. Google Cloud - Cloud Shell(google konsolu) üzerinden scriptimi çalıştırıyorum, ancak 1 saat sonra tak diye kapatıyor. Oturum süresi boyunca bir şey yapmadınız diye. Biraz araştırdım ve shell zaten istediğim amaçta kullanılamazmış. Yani otomatik kapandığı için olmaz. Şimdi gelelim google cloud'un asıl faydasına. Web sitemi deploy edebilirim, ancak benim istediğim şey web sitesi değil. Yoksa heroku üzerinden yapar geçerdim.

    2. Pyhton Anywhere - Bu site aslında tam aradığım özellikte. Ancak scriptimin çalışması için bazı linux kütüphanelerini kurmam gerekiyor. Bu kütüphaneler google cloud shell üzerinden sorunsuz kuruluyorken, python anywhere üzerinden get-apt gibi bir komuta izin bile verilmiyor. Yani google'a göre daha kötü.

    3. Amazon Web Service - Bunu denemedim bile. Çünkü web service. Ayrıca aws'ye giriş yaparken kredi kartı bilgileri soruyor, o yüzden.


    Aslında bu iş vps veya buna benzer bir şey alınarak sağlanılabilir, ancak hem bir şey satın almak istemiyorum, hem de site üzerinden kontrol daha iyi oluyor.


    Çözüm Editi: Amazon Web Service ile 1 dolar kesinti maliyetinde hallettim.



    < Bu mesaj bu kişi tarafından değiştirildi requizm -- 13 Eylül 2018; 14:19:34 >







  • Statik IP'si olan bir bağlantıda düşük güç harcayan bir bilgisayarı 7x24 çalıştırarak bedava ve tam istediğin gibi bir "Cloud Server" sahibi olabilirsin (Cloud Server deyimini ilk kez görüyorum:)) Düşük güç harcayan bilgisayar olarak Mac mini ve Raspberry pi önerilebilir ilki 10W ikincisi 1-2W harcıyor. İkisini de sunucu olarak kullanıyorum yıllardır hiç donanım hatası vermedi.

    < Bu ileti mini sürüm kullanılarak atıldı >
  • quote:

    Orijinalden alıntı: Tuğkan-0153

    Statik IP'si olan bir bağlantıda düşük güç harcayan bir bilgisayarı 7x24 çalıştırarak bedava ve tam istediğin gibi bir "Cloud Server" sahibi olabilirsin (Cloud Server deyimini ilk kez görüyorum:)) Düşük güç harcayan bilgisayar olarak Mac mini ve Raspberry pi önerilebilir ilki 10W ikincisi 1-2W harcıyor. İkisini de sunucu olarak kullanıyorum yıllardır hiç donanım hatası vermedi.
    Cloud diyorum ancak google cloud'dan alışkanlık oldu, benim istediğim şey server. Kullanayım ancak nasıl? O kısımlarda bilgim yok

    Satın almak dışında çözümler arıyorum bu arada.



    < Bu mesaj bu kişi tarafından değiştirildi requizm -- 4 Eylül 2018; 0:14:42 >
  • Requizm kullanıcısına yanıt
    Python betiğini Mac/Windows/Linux herhangi bir bilgisayarda çalıştırdığında o senin sunucun demektir. Örneğin ben Raspberry Pi'de Python'la yazılmış olan "deluged" adlı Torrent server programını 7x24 aylarca çalıştırdım, dolayısıyla Raspberry Pi benim sunucum oldu. Bahsettiğin Python betiği cok yüksek CPU istemiyorsa Raspberry Pi'de çalıştırıp 7x24 kullanman olası. Fakat Raspberry Pi 'ye (kısaca rasppi diyelim) uzaktan erişip betiği değiştirmek veya yönetmek isteyeceksin onun için 'sshd' programını ayarlaman gerekecek ki örneğin ben rasppi'de sshd'yi ayarladım böylelikle başka ayarları yapacağım zaman rasppi'nin başına gitmeden, laptop'umdan bağlanarak yapabiliyorum. daha sonra ihtiyaçlar arttıkça ftp sunucu (pure-ftpd), web sunucu (Nginx), database sunucu (mysql), VNC sunucu (masaüstüne bağlanma) programlaarını da kurdum. şu anda uzak yerlere seyahat yaparsam rasppi'yi cebime koyup sunucumu yanımda taşımam mümkün; biliyorsundur rasppi sigara paketi büyüklüğünde birşey ve android cep şarj cihazlarından güç alabiliyor. bunun gibi şeyleri yapmaya başlarsan Python betiği çalıştırma işini de kotarırsın.

    < Bu ileti mini sürüm kullanılarak atıldı >




  • quote:

    Orijinalden alıntı: Tuğkan-0153

    Python betiğini Mac/Windows/Linux herhangi bir bilgisayarda çalıştırdığında o senin sunucun demektir. Örneğin ben Raspberry Pi'de Python'la yazılmış olan "deluged" adlı Torrent server programını 7x24 aylarca çalıştırdım, dolayısıyla Raspberry Pi benim sunucum oldu. Bahsettiğin Python betiği cok yüksek CPU istemiyorsa Raspberry Pi'de çalıştırıp 7x24 kullanman olası. Fakat Raspberry Pi 'ye (kısaca rasppi diyelim) uzaktan erişip betiği değiştirmek veya yönetmek isteyeceksin onun için 'sshd' programını ayarlaman gerekecek ki örneğin ben rasppi'de sshd'yi ayarladım böylelikle başka ayarları yapacağım zaman rasppi'nin başına gitmeden, laptop'umdan bağlanarak yapabiliyorum. daha sonra ihtiyaçlar arttıkça ftp sunucu (pure-ftpd), web sunucu (Nginx), database sunucu (mysql), VNC sunucu (masaüstüne bağlanma) programlaarını da kurdum. şu anda uzak yerlere seyahat yaparsam rasppi'yi cebime koyup sunucumu yanımda taşımam mümkün; biliyorsundur rasppi sigara paketi büyüklüğünde birşey ve android cep şarj cihazlarından güç alabiliyor. bunun gibi şeyleri yapmaya başlarsan Python betiği çalıştırma işini de kotarırsın.
    Dediğiniz kullanışlı bir şeye benziyor, ancak satın almam gerekecek gibi. Yapacağım iş basit bir şey. Selenium ile veri çekiyor, çeşitli işlemler yapıyorum. Ancak şöyle olsa daha iyi olmaz mıydı. Sunucu donanımının bende olmasına gerek yok, yani cloud derken bir nevi bundan bahsediyordum. Ben sadece xyz.com web sitesine girip python scriptimi çalıştırmak istiyorum. pythonanywhere.com ile aynı işlev yani(üstte neden bunu kullanamadığımı yazdım).
    Eğer yapamazsam, bir web sitesi yazıp scriptimi bir şekilde entegre edeceğim. Ardından google cloud veya heroku'ya deploy eder çalıştırırım. Ancak bu kaçındığım ve en son yapmak istediğim şey. O yüzden her türlü fikre açığım. Teşekkürler bu arada cevabınız için.




  • Requizm kullanıcısına yanıt
    Pythonanywhere üzerinde Selenium çalıştırmak kasabilir cunku Selenium çalışması için Firefox (veya WebDriver sürücüsünü yüklediğin Chrome, Safari,vs başka bir tarayıcı) RAM'e yüklenmeli. Selenium ile gerçek ve ticari bir web scraping projesi yaptım oradan biliyorum. Java ile yaptım fakat Python 'la da yapsan aynı. Benim projeyi Windows hosting veren biryerde çalıştırdılar ve senelik ücreti $20 falan dediler, şaşırdım cunku VNC ile bağlanıp masaüstünü görebiliyor ve istediğin programı kurabiliyordun ve bamdwidth hızı da baya iyiydi.



    Pythonanywhere üzerinde Selenium değil de Python - Mechanize modülünü kullanarak Firefox gibi tarayıcı açmadan yine web scraping yapabilirsin, tahminen. Mechanize da Selenium gibi ziyaret ettiğin sitelerde tarayıcı olarak gözüküyor, bildiğim kadarıyla.

    < Bu ileti mini sürüm kullanılarak atıldı >
  • quote:

    Orijinalden alıntı: Tuğkan-0153

    Pythonanywhere üzerinde Selenium çalıştırmak kasabilir cunku Selenium çalışması için Firefox (veya WebDriver sürücüsünü yüklediğin Chrome, Safari,vs başka bir tarayıcı) RAM'e yüklenmeli. Selenium ile gerçek ve ticari bir web scraping projesi yaptım oradan biliyorum. Java ile yaptım fakat Python 'la da yapsan aynı. Benim projeyi Windows hosting veren biryerde çalıştırdılar ve senelik ücreti $20 falan dediler, şaşırdım cunku VNC ile bağlanıp masaüstünü görebiliyor ve istediğin programı kurabiliyordun ve bamdwidth hızı da baya iyiydi.



    Pythonanywhere üzerinde Selenium değil de Python - Mechanize modülünü kullanarak Firefox gibi tarayıcı açmadan yine web scraping yapabilirsin, tahminen. Mechanize da Selenium gibi ziyaret ettiğin sitelerde tarayıcı olarak gözüküyor, bildiğim kadarıyla.
    Web sürücüsü olarak PhantomJS kullanıyorum, bilgisayar başına geçince python mechanize modülünü araştırayım en iyisi. Ancak kasacak kadar harcayacağını düşünmüyorum, aslında en başta selenium ile python aynwhere üzerinden çalıştırabilsem iyi olacaktı. Selenium olmuyor, en iyisi ben python mechanize ile şansımı deneyeyim.

    < Bu ileti mobil sürüm kullanılarak atıldı >




  • Mechanize esasen perl modülü ve ruby ve python'a portlandı. Nitekim Mechanize'ı ben Perl ile kullandım. Python'da BeautifulSoup iyidir Request modulü ile birlikte.

    < Bu ileti mini sürüm kullanılarak atıldı >
  • quote:

    Orijinalden alıntı: Tuğkan-0153

    Mechanize esasen perl modülü ve ruby ve python'a portlandı. Nitekim Mechanize'ı ben Perl ile kullandım. Python'da BeautifulSoup iyidir Request modulü ile birlikte.
    Aslında beautiful soup'u duydum, ancak tıklama işini yapmıyor diye(browsing yapmıyor diyeyim) ve selenium'u daha ilgili olduğum için selenium seçtim. Biliyorum tıklama işini href alıp o linke girerekte yapabilirim. Bakalım, aradığım platformu bulamazsam dediklerinizi dikkate alacağım.



    < Bu mesaj bu kişi tarafından değiştirildi requizm -- 4 Eylül 2018; 17:28:7 >
    < Bu ileti mobil sürüm kullanılarak atıldı >
  • Mechanize modülünü araştırdım ve bir şeyler denedim. Ancak yaptığım sitede maalesef tıkladığım link paylaşılmıyor. Yani sabit bir link yok. Site bu arada:
    http://tdk.org.tr/index.php?option=com_yazimkilavuzu&view=yazimkilavuzu

    Post metodu istediğim gibi işlemiyor. Mesela b harfini arat, ardından aynı linke tekrar girmeyi dene. f5 yapmaktan bahsetmiyorum, anlamışsınızdır zaten. Yani bu sitede scraping yapmak benim için imkansız. Selenium'dan memnunum, ancak platform yok



    < Bu mesaj bu kişi tarafından değiştirildi requizm -- 4 Eylül 2018; 23:25:29 >




  • Requizm kullanıcısına yanıt
    Mechanize aslında cok yetenekli bir modül fakat biraz alıştırma yapmak gerekli. Selenium en iyisi fakat Browser 'a bağımlı. Her bir browser için farklı webdriver sürücüsü var. Onları tam doğru versiyonlarıyla kurabildiğin bir sunucu varsa ne ala, fakat salt Python scripti olarak çalışacak birşey için Mechanize en mantıklısı. Python'da Scrapy diye birşey daha vardı o da web scraping amaçlı. hiç kullanmadım fakat adını duydum

    < Bu ileti mini sürüm kullanılarak atıldı >
  • quote:

    Orijinalden alıntı: Tuğkan-0153

    Mechanize aslında cok yetenekli bir modül fakat biraz alıştırma yapmak gerekli. Selenium en iyisi fakat Browser 'a bağımlı. Her bir browser için farklı webdriver sürücüsü var. Onları tam doğru versiyonlarıyla kurabildiğin bir sunucu varsa ne ala, fakat salt Python scripti olarak çalışacak birşey için Mechanize en mantıklısı. Python'da Scrapy diye birşey daha vardı o da web scraping amaçlı. hiç kullanmadım fakat adını duydum
    Doğrudur, BeautifulSoup ve Mechanizer ile halletmeye başladım. Aslında çokta zor değil, dediğiniz gibi alıştırma yapmam gerekiyor fakat selenium'a göre meşakkatli olduğu kesin.
  • yazdığın program ne işe yarıyor.ç sadece web scrapping ise yani evdeki bilgisayar dışında uzaktan sürekli bağlanma ihtiyacın yoksa 2. el bir raspberi pi al model 2/3 olabilir. 150 tl civarı bulursun. internete bağla bütün gün evde çalışır.

    yok illa bulutta yapçam diyosan AWS den cloud machine kiralayabilirsin, eğer programın belli periodlarla çalışıyorsa yani saatte bir 2 saatte bir vs AWS lambda kullanabilirsin. sadece programın çalıştığında kullandığı ram cpu vs ödersin daha ucuz olur. Alternatif olarak digitalocean.com dan aylık 5 dolar dan bulut makine kiralayabilirsin.
  • quote:

    Orijinalden alıntı: CarnageTR

    yazdığın program ne işe yarıyor.ç sadece web scrapping ise yani evdeki bilgisayar dışında uzaktan sürekli bağlanma ihtiyacın yoksa 2. el bir raspberi pi al model 2/3 olabilir. 150 tl civarı bulursun. internete bağla bütün gün evde çalışır.

    yok illa bulutta yapçam diyosan AWS den cloud machine kiralayabilirsin, eğer programın belli periodlarla çalışıyorsa yani saatte bir 2 saatte bir vs AWS lambda kullanabilirsin. sadece programın çalıştığında kullandığı ram cpu vs ödersin daha ucuz olur. Alternatif olarak digitalocean.com dan aylık 5 dolar dan bulut makine kiralayabilirsin.
    Raspberry almayı geçtim. Amazon servislerine gelirsem, onların hepsi ücretli. Ücretsiz deniyor ama kredi kartı bilgilerini soruyor. İşim belki 1 hafta sürecek. Yani 1 hafta 7/24 kalacak. Ancak sonuç paraya gidiyor mutlaka. Python anywhere gibi bir site aradım ve bulamadım. Ayrıca aws lerde istediğim şeyin olduğunu sanmıyorum. Çünkü hepsi web servis. Bu gidişle scripti bir web uygulamasına entegre edip heroku veya google'a deploy edeceğim.



    < Bu mesaj bu kişi tarafından değiştirildi requizm -- 7 Eylül 2018; 13:25:29 >
    < Bu ileti mobil sürüm kullanılarak atıldı >




  • Requizm kullanıcısına yanıt
    Skript'i web uygulamasına entegre edince sorun çıkabilir. Nerden sorun çıkar bilemem ama biryerden çıkabilir.



    Bursa'da 50TL'ye Intel Core2Duo 1066Mhz FSB işlemcili PC 'ler satılıyor. Onlardan bir tane alıp Linux veya OSX kurup sözkonusu işlemi 7x24 yapabilirsin. 1066Mhz olanlar az ısınıyor.

    < Bu ileti mini sürüm kullanılarak atıldı >
  • Çalışsın yeter çok çok az kaynak tüketiyor derseniz yılda 4$ a https://lowendspirit.com den nat vps alabilirsiniz (yani size tam bir sunucu verilmiyor bir sunucunun kücük bir parçası ama konsol erişimini var. root yetkiniz var. shared host dan güzel. neyse



    çok fazla kaynak tüketmiyorsa (ama Nat da istemiyorum derseniz )tavsiyem arubacloud.com olur. ayda 1 avro 1 gb ramli tek çekirdek bir linux veriyor. eğer 1.5 Avro farkla menüyü büyütmek isterseniz 2.5 avro 2 gb ram 1 core veriyor.
    Ordan sonra Digital ocean o da kesmezse Azure/AWS/Google cloud diye gider.


    Orada sürekli çalışması için. Ben linux da uzman değilim ancak

    quote:

    #!/usr/bin/env python

    print("x is 1.")


    olarak (kafasına shebag ekleyerek)
    $ chmod +x dosyaadi

    Ardindan bir systemD service file tanımı yapıp bunu ekleyerek. linux restart bile etse çalışacak (yani python as system d service) olarak çalıştırabilirsiniz.

    https://patrakov.blogspot.com/2011/01/writing-systemd-service-files.html

    Ben bu yöntemle python ile yazılmış searx isimli meta search engine çalıştırıyorum

    bu yöndem ile python kodunu arkaplanda kendis calısır. hatta crash ederse otomatik restart edecek yönlemler de mevcut.




  • quote:

    Orijinalden alıntı: Tuğkan-0153

    Skript'i web uygulamasına entegre edince sorun çıkabilir. Nerden sorun çıkar bilemem ama biryerden çıkabilir.



    Bursa'da 50TL'ye Intel Core2Duo 1066Mhz FSB işlemcili PC 'ler satılıyor. Onlardan bir tane alıp Linux veya OSX kurup sözkonusu işlemi 7x24 yapabilirsin. 1066Mhz olanlar az ısınıyor.
    Hocam şuanlık fiziksel bir şey almayı geçtim, belki bulut tabanlı bir şeyler alırım, ondan da emin değilim. Bu arada mechanize ile browsing yapıyordum ancak bulut sunucularda python çalıştıracağım için ve bulut sunucuların çoğu python 3 altını desteklemediği için mechanicalsoup kullanmaya karar verdim. Alternatif olarak robobrowser filanda vardı, ancak mechanicalsoup daha fazla kullanıldığı için onu seçtim.
  • quote:

    Orijinalden alıntı: mahoni_38

    Çalışsın yeter çok çok az kaynak tüketiyor derseniz yılda 4$ a https://lowendspirit.com den nat vps alabilirsiniz (yani size tam bir sunucu verilmiyor bir sunucunun kücük bir parçası ama konsol erişimini var. root yetkiniz var. shared host dan güzel. neyse



    çok fazla kaynak tüketmiyorsa (ama Nat da istemiyorum derseniz )tavsiyem arubacloud.com olur. ayda 1 avro 1 gb ramli tek çekirdek bir linux veriyor. eğer 1.5 Avro farkla menüyü büyütmek isterseniz 2.5 avro 2 gb ram 1 core veriyor.
    Ordan sonra Digital ocean o da kesmezse Azure/AWS/Google cloud diye gider.


    Orada sürekli çalışması için. Ben linux da uzman değilim ancak

    quote:

    #!/usr/bin/env python

    print("x is 1.")


    olarak (kafasına shebag ekleyerek)
    $ chmod +x dosyaadi

    Ardindan bir systemD service file tanımı yapıp bunu ekleyerek. linux restart bile etse çalışacak (yani python as system d service) olarak çalıştırabilirsiniz.

    https://patrakov.blogspot.com/2011/01/writing-systemd-service-files.html

    Ben bu yöntemle python ile yazılmış searx isimli meta search engine çalıştırıyorum

    bu yöndem ile python kodunu arkaplanda kendis calısır. hatta crash ederse otomatik restart edecek yönlemler de mevcut.
    Yıllık 4 dolarlık sunucular aslında uygun geldi, kenarıya not ediyorum




  • quote:

    Orijinalden alıntı: requizm

    Yıllık 4 dolarlık sunucular aslında uygun geldi, kenarıya not ediyorum

    Alıntıları Göster
    ben shadowsock ve searx kurdum üzerine. Güzelce çalışıyor. Belki site host edilmez ama bu tarz işler için güzel. Ama belirteyim SIFIR DESTEK. Yani kötü destek demiyorum bak destek sıfır. hiç yok. :) 4 dolar olmanın bi sonucu
  • Requizm kullanıcısına yanıt
    Hocam aws nin ismine takılmayın. İçinde blok depolama, sql database, vpn, dns yönlendirme, vps, faas, makine öğrenimi, anında tercüme gibi Birçok servis var. Servislerin tamamına yakını kullandığın kadar öde düzeninde. Baştaki kredi kartına da takılmayın kullanmazsanız bişey kesmiyor. Programınızı en küçük boy EC2 üzerine kurup istediğiniz gibi çalıştırabilirsiniz. Fiyatlandırma kısmından EC2 nin fiyatına bi bakın öyle karar verin. Alternatif olarak daha önce de söylediğim DigitalOcean mantıklı. 5$ aylık sunucu kirası. İsterseniz referanslı link atayım 10$ beriyor size. 2 ay yeter. 1 dakikada sunucu kullanıma hazır hale geliyor. İşiniz bitince sunucuyu tamamen silip faturalandırmayı durdurabilirsiniz.

    < Bu ileti mini sürüm kullanılarak atıldı >
    • 
Sayfa: 12
Sayfaya Git
Git
sonraki

Benzer içerikler

- x
Bildirim
mesajınız kopyalandı (ctrl+v) yapıştırmak istediğiniz yere yapıştırabilirsiniz.
Hizmet kalitesi için çerezleri kullanabiliriz. DH’ye girerek kullanım izni vermiş sayılırsınız.
Anladım Veri Politikamız