6 Mart 2020 Cuma

Windows üzerinden SSH ile Linux ortamına erişim

-İlk Kurulum:

Önce Windows üzerinde OpenSSH kurulumu (Admin hakkı ile):

Add-WindowsCapability -Online -Name OpenSSH.Client~~~~0.0.1.0

-Her bir sunucu/kullanıcı eklemek için:
Public ve Private key oluşturma:
cmd > C:\Users\[username]\.ssh > ssh-keygen.exe

Dosya adı isteyecek. Örn: xserver-yuser
[Dosya adı verilmez ise default olarak id_rsa ve id_rsa.pub dosyaları oluşturulur.
Bu şekilde ssh bağlantısı -i ile key dosya adı belirtilmez ise bu kullanılır.]

İki dosya oluşacak. Biri uzantısız, biri pub uzantılı.

pub uzantılı dosya adı sunucuda .ssh\authorized_keys dosyasına eklenir.

Sonra bağlantı kurmak için
Dosya adı (örneğin xserver-openssh) ve passphrase verilince;
Cmd ortamında:
ssh -i C:\\Users\\[username]\\.ssh\\xserver-yuser-openssh user-name@111.222.0.8

-passphrase vererek dosya oluşturulursa her girişte bu passphrase de girilmeli.

-ssh bağlantısının kısa sürede düşmesini engellemek için:

 -o ServerAliveInterval=30


 

-Eğer mevcutta sunucu ve ssh key tanımlıysa ve yeni sunucu eklendiyse (do da olduğu gibi) mevcut istemci tanımlıyla erişilmeye çalışıldığında Public Key error hatası alınabilir. Bu durumda  yeni sunucu üzerinde (web console erişimi ile);

sudo nano /etc/ssh/sshd_config
PermitRootLogin prohibit-password to PermitRootLogin yes 
PasswordAuthentication no to PasswordAuthentication yes

 sonra;

sudo service ssh restart

 

 

 Windows Terminal de profil olarak eklemek için;

"profiles" dizininde;


        {
          "guid""{2f0c4513-e827-45de-a043-5dcdfc58b78c}",
          "name":  "ssh xserver",
          "tabTitle""xserver",
          "commandline""ssh -i C:\\Users\\[username]\\.ssh\\xserver-openssh remote-user-name@111.222.0.8
"
        }
    ],

 

Terminal Ekranını Özelleştirme


https://www.hanselman.com/blog/my-ultimate-powershell-prompt-with-oh-my-posh-and-the-windows-terminal


https://ohmyposh.dev/docs/windows
winget install JanDeDobbeleer.OhMyPosh

restart terminal


notepad $PROFILE ile dosya oluştur
Bu satırı ekle
oh-my-posh --init --shell pwsh --config ~\AppData\Local\Programs\oh-my-posh\themes\jandedobbeleer.omp.json | Invoke-Expression
linux: eval "$(oh-my-posh --init --shell bash --config /home/linuxbrew/.linuxbrew/opt/oh-my-posh/themes/jandedobbeleer.omp.json)"
ve
Import-Module -Name Terminal-Icons (Install-Module -Name Terminal-Icons -Repository PSGallery > bunu kurulmalı)

Themeler burda
%AppData%\Local\Programs\oh-my-posh\themes\
Linux:
/home/linuxbrew/.linuxbrew/opt/oh-my-posh/themes


Theme önizleme
https://ohmyposh.dev/docs/themes


Visual Studio Powershell de font değişimi : Options > Environment > Fonts and Colors > Terminal > CaskaydiaCove NF
Visual Stduio Code WSL için: settings.json > "terminal.integrated.fontFamily" : "Cascadia Code PL" + root daki .profile in yüklenmesi gerekiyor
"terminal.integrated.profiles.linux": > args: -l .profile yüklemesi için
    "bash": {
      "path": "bash",
      "args": [
        "-l"
      ],
      "icon": "terminal-bash"
    }









10 Mayıs 2019 Cuma

IIS App Pool CPU kullanım ölçümü

IIS üzerinde belirli bir App Pool için CPU kullanımları kaydedilmek isteniyorsa Performance Monitor'de eklenmesi gereken sayaçlar :

Process/% User Time > Bütün w3wp örnekleri (instance'ları) kaydedilebilir.
W3SVC_W3WP/(herhangi bir counter) > Hangi w3wp hangi App Pool a bağlı görmek için

Örnek: w3wp#7 > 212 Process ID > Instance kolonunda 212_xxx app pool a ait.





14 Kasım 2018 Çarşamba

Event Trace for Windows (ETW) ile canlı IIS izleme

Bir uygulamada log tutuluyorsa ve bu loglar ETW'ye yönlendirilebiliyorsa, aşağıdaki kütüphaneler ile ETW'ye (Windows) subscribe olup, Provider+Event filtreleme yöntemiyle bu event'ler toplanabilir.

Örnek: IIS logları, bir uygulamadaki System.Net namespace'i altındaki operasyonlar (HttpWebRequest), Ado.Net, .NET CLR Events

>Bir uygulamadan ETW'ye log yazmak için: EventSource
https://www.nuget.org/packages/Microsoft.Diagnostics.Tracing.EventSource/

Okumak için: TraceEvent
https://www.nuget.org/packages/Microsoft.Diagnostics.Tracing.TraceEvent


ETW Kavram detayları
https://docs.microsoft.com/en-us/message-analyzer/common-provider-configuration-settings-summary
https://docs.microsoft.com/en-us/message-analyzer/system-etw-provider-event-keyword-level-settings

Detaylar:

ETW için detaylar
https://github.com/mehmetilker/mehmetilker.github.io/blob/master/_posts/app-monitoring-etw-detaylar.md

Uygulama Monitoring / İzleme sistemi kurmak için
https://github.com/mehmetilker/mehmetilker.github.io/blob/master/_posts/app-monitoring.md

14 Mart 2018 Çarşamba

Stanford Core NLP Notları

Stanford Core NLP için CLI ve API kullanımıyla ilgili notlar;

-Annotators
-Regexner (POS tagging üzerinden pattern matching)
-CLI: Farklı durumlar için örnekler
-Web sunucusu üzerinde kullanımı (singleton instance)
-Performans : Model karşılaştırmaları
-POS Tags (Universal)
-Dependency Tags (Universal)
-Diğer Notlar (extension...)

Stanford Core NLP Parse annotation ve model alternatifleri

Ön bilgi:
annotator (fiil) : To furnish (a literary work) with critical commentary or explanatory notes;
annotator (isim): a commentator who writes notes to a text
annotation (isim):  a note added in explanation, etc, esp of some literary work.

Doğal dil işlemede dependency parsing (bağımlı / bağlantılı eşleştirme), cümledeki sözcük diziminin yapısı ve sözcükler arasındaki ilişkiyi tanımlama işlevi görür.
Örnek olarak subject-object ilişkisi ya da adjectival modifier.
Gösterim şekli : labelName(GovernorWord, DependentWord)

Stanford Core NLP dependency parsing için iki farklı annotator sunuyor: parse ve depparse.

parse ve depparse annotator farklı modeller kullanmakla birlikte farklı yöntemler üzerinden dependency parsing işlemini gerçekleştiriyor.
Bu nedenle hem hız hemde çıktı anlamında farklı sonuçlar üretiyorlar.


-Dependency Parsing annotator alternatifleri
--parse
--depparse

-Dependency Label listesi ve açıklamalar
-Performans
-Diğer Konular

8 Mart 2018 Perşembe

Linux üzerinde Python web uygulaması yayına alma alternatifleri

Digital Ocean (DO) - Ubuntu üzerinde Python web uygulaması kurulumu / yayına alma ve güncelleme ile ilgili notlar.

Ubuntu 16.04
Nginx 1.10.3
Python 3.6.4


Problemler 

-Tüm kurulumlardan sonra çalışan sistemde güncellemelerde.

Bir paket güncellemesinde "pip install -U x" wheel üretilme adımında kurulum killed olarak sonlanıyorsa bellek yetmezliğinden kaynaklanıyor olabilir. örn: https://github.com/explosion/spaCy/issues/1586
Normalde 2GB kurulumlarda yetmişti linux güncellemelerinden yada yeni python package den kaynaklı sıkıntı olabilir.
Bu durumda uygulama başlamaz ve alttaki problem ortaya çıkabilir.
gunicorn connect() to unix:/*.sock failed (2: No such file or directory) while connecting to upstream,

Daha detay bilgi almak için systemd service dosyasında gunicorn için log gile parametreleri belirtilebilir.
ExecStart=/home/app/_env/bin/gunicorn --workers 2 --bind unix:lingoapi.sock -m 007 wsgi:flask_app -e LINGOAPPENV=PROD --error-logfile /home/app/logs/gunierr.txt, --log-file /home/app/logs/guni.log

Normalde yetmesi gereken 2GB yetmediğinde swap dosyası tanımı yapılabilir.
Yapmak için : https://www.digitalocean.com/community/tutorials/how-to-add-swap-space-on-ubuntu-16-04

Swap tanımı yapıp güncellemeyi (pip install) yaptıktan sonra eğer sunucu reboot edilirse swap dosyası uçacaktır. Dolayısıyla güncelleme de aynı problem tekrar edecektir.

-Artan bellek problemine bir çözüm önerisi
gunicorn apps.wsgi:application -b 127.0.0.1:8080 --workers 8 --max-requests 1000
Her bin istekten sonra app pool recycle benzeri işlem
https://rayed.com/posts/2014/09/django-memory-leak-with-gunicorn/


-Bellek kullanım detaylarını görmek için kullanılabilecek bir script
https://raw.githubusercontent.com/pixelb/ps_mem/master/ps_mem.py
>python3 ps_mem.py

-Memory leak tespiti için:
https://pypi.org/project/Dozer/
Dozer was originally a WSGI middleware version of Robert Brewer’s Dowser CherryPy tool that displays information as collected by the gc module to assist in tracking down memory leaks. It now also has middleware for profiling and for looking at logged messages.


Sistem kurulum adımları


1. Tanımlar / Configler
-non-root kullanıcı oluşturma - putty ile bağlanma
-Uygulama dizinler, dizin yazma hakkı, firewall vs güvenlik tanımları

2. Kurulumlar (nginx, python...)

3. Geliştirilen uygulamanın kurulum : virtual env, ...
Alternatifler: herşey manuel, docker, dokku, captainduckduck, rancher?)
---Deployment/Güncelleme (deploy, config change) / staging, live... > blue/green deployment

4. Diğer Konular
---SSL (Nginx üzerine)
---Güvenlik
---Kayıtlar / Loglar
---Performans
---Coğrafi dağıtık kurulum alternatifleri
----DNS, IP, istemci performans ölçümüne göre



21 Ocak 2018 Pazar

Azure Web App Service üzerinde SpaCy (veya diğer Python native module) kurulumu



Azure App Service üzerinde Python ile geliştirilmiş uygulamayı çalıştırabilmek için:
-İstenirse güncel Python extension kurulumu (3.4 mevcut)
-Eğer geliştirilen uygulama "native module" kullanıyorsa gerekli çevrim işleminin yapılması (Windows App Service üzerinde çalışabilmesi için)

Aşağıdaki açıklamalarda Azure Web App Service ortamına bir Cython native compiler'a ihtiyaç duyan Python paketi olan spaCy NLP kurulumu anlatılmakta. Aynı yöntem ile diğer compiler kullanan Python paketleri kurulumu da yapılabilir.

Ön bilgi

Azure App Service üzerinde Python 3.4 kurulu geliyor. Uygulama ayarlarından açık konuma getirilip kullanılabilir.

Baştan sonra Git üzerindeki hazır bir örnek uygulamayı Azure App Service de çalışır hale getirme örneği:
-"Deployment user" oluşturma
-"Resource Group" oluşturma
-"App Service Plan" oluşturma
-Uygulamayı oluşturma
-Git üzerinden Azure'daki uygulamaya kurulum