Linux üzerinde Python web uygulaması yayına alma alternatifleri

Digital Ocean (DO) - Ubuntu üzerinde Python web uygulaması kurulumu / yayına alma ve güncelleme ile ilgili notlar.

Ubuntu 16.04
Nginx 1.10.3
Python 3.6.4

Problemler 

-Tüm kurulumlardan sonra çalışan sistemde güncellemelerde.

Bir paket güncellemesinde "pip install -U x" wheel üretilme adımında kurulum killed olarak sonlanıyorsa bellek yetmezliğinden kaynaklanıyor olabilir. örn: https://github.com/explosion/spaCy/issues/1586
Normalde 2GB kurulumlarda yetmişti linux güncellemelerinden yada yeni python package den kaynaklı sıkıntı olabilir.
Bu durumda uygulama başlamaz ve alttaki problem ortaya çıkabilir.
gunicorn connect() to unix:/*.sock failed (2: No such file or directory) while connecting to upstream,

Daha detay bilgi almak için systemd service dosyasında gunicorn için log gile parametreleri belirtilebilir.
ExecStart=/home/app/_env/bin/gunicorn --workers 2 --bind unix:lingoapi.sock -m 007 wsgi:flask_app -e LINGOAPPENV=PROD --error-logfile /home/app/logs/gunierr.txt, --log-file /home/app/logs/guni.log

Normalde yetmesi gereken 2GB yetmediğinde swap dosyası tanımı yapılabilir.
Yapmak için : https://www.digitalocean.com/community/tutorials/how-to-add-swap-space-on-ubuntu-16-04

Swap tanımı yapıp güncellemeyi (pip install) yaptıktan sonra eğer sunucu reboot edilirse swap dosyası uçacaktır. Dolayısıyla güncelleme de aynı problem tekrar edecektir.

-Artan bellek problemine bir çözüm önerisi
gunicorn apps.wsgi:application -b 127.0.0.1:8080 --workers 8 --max-requests 1000
Her bin istekten sonra app pool recycle benzeri işlem
https://rayed.com/posts/2014/09/django-memory-leak-with-gunicorn/


-Bellek kullanım detaylarını görmek için kullanılabilecek bir script
https://raw.githubusercontent.com/pixelb/ps_mem/master/ps_mem.py
>python3 ps_mem.py

-Memory leak tespiti için:
https://pypi.org/project/Dozer/
Dozer was originally a WSGI middleware version of Robert Brewer’s Dowser CherryPy tool that displays information as collected by the gc module to assist in tracking down memory leaks. It now also has middleware for profiling and for looking at logged messages.

Sistem kurulum adımları

1. Tanımlar / Configler
-non-root kullanıcı oluşturma - putty ile bağlanma
-Uygulama dizinler, dizin yazma hakkı, firewall vs güvenlik tanımları

2. Kurulumlar (nginx, python...)

3. Geliştirilen uygulamanın kurulum : virtual env, ...
Alternatifler: herşey manuel, docker, dokku, captainduckduck, rancher?)
---Deployment/Güncelleme (deploy, config change) / staging, live... > blue/green deployment

4. Diğer Konular
---SSL (Nginx üzerine)
---Güvenlik
---Kayıtlar / Loglar
---Performans
---Coğrafi dağıtık kurulum alternatifleri
----DNS, IP, istemci performans ölçümüne göre

Azure Web App Service üzerinde SpaCy (veya diğer Python native module) kurulumu

Azure App Service üzerinde Python ile geliştirilmiş uygulamayı çalıştırabilmek için:

-İstenirse güncel Python extension kurulumu (3.4 mevcut)

-Eğer geliştirilen uygulama "native module" kullanıyorsa gerekli çevrim işleminin yapılması (Windows App Service üzerinde çalışabilmesi için)

Aşağıdaki açıklamalarda Azure Web App Service ortamına bir Cython native compiler'a ihtiyaç duyan Python paketi olan spaCy NLP kurulumu anlatılmakta. Aynı yöntem ile diğer compiler kullanan Python paketleri kurulumu da yapılabilir.

Ön bilgi

Azure App Service üzerinde Python 3.4 kurulu geliyor. Uygulama ayarlarından açık konuma getirilip kullanılabilir.

Baştan sonra Git üzerindeki hazır bir örnek uygulamayı Azure App Service de çalışır hale getirme örneği:

https://docs.microsoft.com/en-us/azure/app-service/app-service-web-get-started-python

-"Deployment user" oluşturma

-"Resource Group" oluşturma

-"App Service Plan" oluşturma

-Uygulamayı oluşturma

-Git üzerinden Azure'daki uygulamaya kurulum

Azure App Service üzerinde problem çözümü

Farklı katmanlarda hatalar oluşabilmekte. Bunlar;

1-Uygulamanın kendisi: 
"object reference not set" hatasından "An error occurred while sending the request." hatasına kadar çeşitli hatalar oluşabilmekte.
Tabi bir de StackOverflowException hatasını unutmamalı. https://blogs.msdn.microsoft.com/spike/2011/11/04/how-to-create-a-stackoverflowexception-and-how-to-figure-out-where-it-is-happening/

2-Uygulamanın üzerinde çalıştığı ortam: 
Yani .Net Framework / .Net Core. Uygulamanın geliştirildiği ortam ve çalışma ortamı (production) arasındaki farklılıklardan kaynaklanabilir.
Kendilerini "Unhandled Exception: System.TypeInitializationException: The type initializer for 'System.Diagnostics.DiagnosticListener' threw an exception." hatası olarak belli ederler.
Yani uygulama çalışırken değil daha en baştan (Program.Main(String[] args)) uygulamanın başlamasına engel olurlar.
Bu bazen uygulama doğru version üzerinde çalışıyor olsa bile ortaya çıkabilir. Azure örneğinde "App Service" uygulamasına eklenen bir extension ile uyumsuzluk da sebep olabilir.
Örneğin: Application Insight 2.4.7 https://stackoverflow.com/questions/47411101/could-not-load-type-system-diagnostics-productionbreakpointsstub-error-in-app-d?rq=1

Sql Server T-Sql Notları

Sql query'leri tabify (formatlı) yapmak için:

http://www.dpriver.com/pp/sqlformat.htm

-String üzerinden hash üretme

HashBytes('MD5', [Sentence]) as hash  > varbinary to string ?

select cast(@b as varchar(max)) - olmadı

SELECT CONVERT(VARCHAR(1000), varbinary_value, 1);

-Sayfalama

FROM [TableX]

Order by Id --(mecburi)

  OFFSET (500000) ROWS FETCH NEXT (10000) ROWS ONLY

 

 

-String içerikte tümü büyük harf olanları bulma

select top 1000 * from [Table] 

where Text COLLATE Latin1_General_CS_AI = Upper(Text)

  

  

-Bir kelimenin text de kaç defa geçtiğini bulmak  

 SELECT CHARINDEX ( 'TEST',  

       'This is a Test'  

       COLLATE Latin1_General_CS_AS);

  

https://www.dbrnd.com/2016/02/sql-server-tsql-script-to-find-count-the-number-of-occurrences-of-a-string/

http://dataeducation.com/counting-occurrences-of-a-substring-within-a-string/

 

-ESCAPE 

WHERE LargePhotoFileName LIKE '%greena_%' ESCAPE 'a' ;  

Using WHERE with LIKE and ESCAPE syntax

and uses the ESCAPE option because is a wildcard character. Without specifying the ESCAPE option, the query would search for any description values that contain the word green followed by any single character other than the character.  

String Functions

https://docs.microsoft.com/en-us/sql/t-sql/functions/string-functions-transact-sql

İstemciye göre ASP.Net MVC Core yanıt formatı için Global Filter uygulaması

2008 Yılında Microsoft ASP.Net MVC Framework'ü yayınladığında fikir veya çözüm olarak ilk kez ortaya çıkmış olmasa da yaygınlaşmasına ön ayak olmuştur.
Bu sayede yazılım geliştirme yapanlar için bazı temel değerler de yaygınlaşmaya başladı.
Bunlardan bazıları "seperation of corserns" ve "decoupling". Yani geliştirilen çözümün parçalarını birbirinden soyutlayarak farklı alanlarda fayda sağlama.

Sql Server Full Text Search Oluşturma ve kullanım

Index oluşturma ve tanım aşamaları

Burada ftCatalog, Index'e verilen isim:

CREATE FULLTEXT CATALOG ftCatalog AS DEFAULT;

Tablonun bir Primary Key index'i olmalı:
-SalesLT schema. Default dbo olarak alınabilir. ProductDescription ise Tablo adı.

CREATE FULLTEXT INDEX ON SalesLT.ProductDescription(Description) KEY INDEX ui_ukProductDescription ON ftCatalog; 

Var olan veriden Full text index oluşturmak için:

ALTER FULLTEXT INDEX ON SalesLT.ProductDescription ENABLE; 
GO 
ALTER FULLTEXT INDEX ON SalesLT.ProductDescription START FULL POPULATION;

Azure üzerinde "Continuous Delivery" tanımları ve anahtar noktalar

Visual Studio ile geliştirilen projeyi Azure üzerinde yayına almak için yeni bir "Publish Profile" oluşturulabilir ve sonradan istenildiği anda geliştirmeler bu tanım üzerinden doğrudan yayına alınabilir:
https://docs.microsoft.com/en-us/aspnet/core/tutorials/publish-to-azure-webapp-using-vs

Projeyi yayına almak için diğer alternatif yöntemler:
https://docs.microsoft.com/en-us/azure/app-service-web/web-sites-deploy

Genel olarak .Net Core ile geliştirilen projelerde hem Azure üzerinden hem VSTS üzerinden standart şablonlar ile CI/CD tanımlarını yapmak problemli. (Temmuz 2017 itibariyle).
Dolasıyla hem entegrasyonu çalışır hale getirmek hemde ihtiyaçları karşılaması amacıyla oluşturulan şablonları düzenlemek gerekiyor.

Azure CLI

Azure portal'e giriş yapmadan https://shell.azure.com ya da Azure CLI tools kullararak alttaki komutlarda slot swap işlemi gerçekleştirilebilir

azure site -h > To list the commands available for Azure App Service in the Azure CLI

azure site list

azure site list lingo-member > will list lingo-member and lingo-member-staging

azure site swap lingo-member > Swap slot "staging" from site "lingo-member" with slot "production" ? [y/n]

---cli swap
az webapp deployment slot swap -g lingo-live -n lingo-member -s staging
---log download
az webapp log download -n lingo-parse -g lingo-live

Geliştirme ortamından yayına alma süreci

Kalitenin korunması başta olmak üzere diğer nedenlerle birlikte önerilen yöntem otomasyon sürecinin oluşturulması.
Geliştirme ortamından yayına alma sürecinde yaşanabilecek olumsuzluklar:

Problemler

Geliştirme ortamından Azure ortamında aktarım yaparken karşılaşılabilecek hatalardan biri;