Loglama, İzleme ve Operasyon

Sistemin dış çıktılarından iç durumunu anlayabilme yeteneği.

Önceden belirlenmiş metrik ve koşulları sürekli izleme.

Uygulama ve sistem olaylarını zaman damgalı kayıt olarak yazma.

Zaman içinde ölçülen sayısal sistem değeri.

Bir request'in servis ve bileşenler arasındaki uçtan uca yolculuğu.

Tek bir olayın zaman, seviye ve mesajla kaydı.

Olayın gerçekleştiği tarih ve saat.

Mesajın önem ve ayrıntı düzeyi.

Çok ayrıntılı akış bilgisi.

Geliştirme ve teşhis için ayrıntılı bilgi.

Normal işleyişte önemli olay.

İşlem sürse de dikkat gerektiren olağan dışı durum.

Belirli işlemin başarısız olduğunu gösteren hata.

Uygulamanın çalışmasını sürdüremeyeceği kritik hata.

Log alanlarını JSON gibi makine okunabilir anahtar-değer formatında yazma.

Serbest metin biçimindeki log mesajı.

request id, user id, tenant id ve order id gibi olayı anlamlandıran alanlar.

Aynı iş akışındaki farklı log ve servis kayıtlarını ilişkilendiren kimlik.

Tek HTTP isteğini loglar boyunca tanımlayan kimlik.

Dağıtık request'in tüm span'lerini birleştiren kimlik.

Trace içindeki tek operasyon veya servis çağrısını tanımlayan kimlik.

Request'in birden fazla servis ve bağımlılıktaki süre ve hatalarını takip etme.

Trace içindeki başlangıç, bitiş ve attribute taşıyan işlem parçası.

Trace, metric ve log üretimi/aktarımı için açık gözlemlenebilirlik standardı.

Uygulama koduna ölçüm ve trace üretme yeteneği ekleme.

Framework ve kütüphaneleri kodu az değiştirerek otomatik izleme.

Önemli domain işlemleri için geliştiricinin özel span ve metric eklemesi.

Telemetry verisini alıp işleyerek gözlem backend'lerine gönderen servis.

Zaman serisi metric toplama ve sorgulama sistemi.

Uygulama veya sistem metriklerini Prometheus formatında sunan bileşen.

Prometheus'un metric endpoint'lerini periyodik çekmesi.

Zaman damgasına bağlı sayısal ölçüm dizisi.

Yalnızca artan request veya hata sayacı metriği.

CPU veya queue depth gibi artıp azalabilen anlık metrik.

Gözlemleri bucket'lara ayırarak latency dağılımı ölçer.

İstemci tarafında quantile ve toplam ölçüm üreten metrik türü.

Metrikleri method, route veya status gibi boyutlarla ayıran metadata.

Metric label kombinasyonlarının benzersiz sayısı.

User id gibi çok fazla benzersiz label nedeniyle metric maliyetini büyüten durum.

Metric, log ve trace verilerini dashboard ve alert'lerle görselleştiren platform.

Bir servis veya iş akışının önemli grafik ve değerlerini bir arada gösterir.

Dashboard içindeki tek grafik, tablo veya sayı.

Belirli metric veya log koşulu oluştuğunda bildirim üreten kural.

Eşik, süre ve değerlendirme mantığını tanımlayan alarm kuralı.

Alarmın tetiklenmesi için aşılması gereken değer.

Çok fazla veya kalitesiz alarm nedeniyle önemli uyarıların gözden kaçması.

Aksiyon gerektirmeyen tekrar eden alarm veya log bilgisi.

Alıcının ne yapacağını ve etkisini anlayabildiği alarm.

Belirli alarm veya olay için teşhis ve müdahale adımlarını açıklayan doküman.

Belirli zaman aralığında production olaylarına müdahale sorumluluğu.

Olay yanıtlanmazsa sıradaki kişi veya ekibe aktarılma kuralı.

Hizmet kalitesini veya kullanıcıları etkileyen plansız olay.

Olayı tespit, sınırlama, düzeltme ve iletişim süreci.

Büyük olayda koordinasyon ve karar akışını yöneten kişi.

Olay etkisini SEV1, SEV2 gibi seviyelerle sınıflandırma.

Etkilenen kullanıcı, işlem ve iş değerinin kapsamı.

Olayın başlaması ile fark edilmesi arasındaki süre.

Olayları tespit etmek için geçen ortalama süre.

Alarmdan birinin olayı kabul etmesine kadar geçen ortalama süre.

Hizmeti normal duruma döndürmek için geçen ortalama süre.

Olayın tamamen çözülmesine kadar geçen süre.

Olayın zaman çizelgesi, nedenleri ve kalıcı aksiyonlarını belgeleyen çalışma.

Kişi suçlamak yerine sistem ve süreç iyileştirmesine odaklanan analiz.

Olayın temel teknik ve organizasyonel nedenlerini araştırma.

Tek başına kök neden olmayan ancak olay etkisini artıran koşul.

Mevcut problemi gidermek için alınan aksiyon.

Benzer olayın tekrarını önlemeyi hedefleyen kalıcı aksiyon.

Hizmet güvenilirliği için belirlenen ölçülebilir hedef.

Availability veya latency gibi hizmet kalitesini ölçen gösterge.

Müşteriyle üzerinde anlaşılan hizmet seviyesi ve sonuçları.

Hizmetin kullanılabilir olduğu zamanın toplam zamana oranı.

Sistemin kesintisiz çalıştığı süre veya oran.

Hizmetin kullanılamadığı süre.

Hatalı isteklerin toplam isteklere oranı.

Başarıyla tamamlanan işlemlerin oranı.

SLO hedefi içinde kabul edilebilir toplam başarısızlık veya kesinti payı.

Error budget'ın ne hızla tüketildiğini gösteren oran.

Latency, traffic, errors ve saturation temel gözlem sinyalleri.

Request rate, error rate ve duration ile servis gözlemleme yaklaşımı.

Kaynakları utilization, saturation ve errors ile izleme yaklaşımı.

Servisin temel çalışma durumunu kontrol eden endpoint.

Sürecin canlı olup olmadığını gösterir.

Servisin trafik almaya hazır olup olmadığını gösterir.

Database, Redis ve harici API bağlantılarının durumunu kontrol eder.

Gerçek kullanıcı olmadan belirli akışları periyodik robot testlerle ölçme.

HTTP, TCP veya ping ile servisin erişilebilirliğini kontrol eder.

Gerçek kullanıcı tarayıcılarından performans ve hata verisi toplama.

Uygulama performansı, trace, transaction ve hata analiz platformu.

Exception'ları stack trace, kullanıcı ve sürümle gruplayarak izleme.

Benzer stack trace ve hata mesajlarını tek issue altında toplama.

Hataları uygulama sürümü ve deployment ile ilişkilendirme.

Minify frontend hatalarını kaynak koda çevirmek için source map'i hata servisine gönderme.

Birden fazla server ve container logunu merkezi sistemde toplama.

Logları tek arama ve saklama platformunda birleştirme.

Elasticsearch, Logstash ve Kibana tabanlı log sistemi.

Label tabanlı ve Grafana ile entegre log toplama sistemi.

Logların ne kadar süre saklanacağını belirleyen politika.

Log dosyalarını boyut veya zamana göre bölme ve eski kayıtları silme.

Parola, token ve kişisel verinin loglara yazılmaması gereksinimi.

Hassas alanları log çıktısında maskeleme veya kaldırma.

Kritik kullanıcı ve yönetim işlemlerinin güvenilir kayıt geçmişi.

Değiştirilmesi veya silinmesi zor olacak şekilde saklanan audit kayıtları.

Sunucu CPU, RAM, disk, network ve process durumlarını izleme.

İşlemci kapasitesinin kullanılan yüzdesi.

CPU üzerinde çalışan ve bekleyen işlerin zaman ortalaması.

Kullanılan RAM miktarı.

Disk tabanlı sanal bellek kullanım miktarı.

Dosya sistemi doluluk oranı.

Diskin saniyede gerçekleştirdiği okuma/yazma işlemi.

Disk işleminin tamamlanma gecikmesi.

Birim zamanda gönderilen ve alınan veri miktarı.

Gönderilen ağ paketlerinin hedefe ulaşmama oranı.

Aktif ağ veya veritabanı bağlantı sayısı.

Sorgu süresi, bağlantı, lock, cache ve disk davranışını izleme.

Beklenen süreyi aşan veritabanı sorgusu.

Havuzdaki tüm bağlantıların kullanımda olması.

Transaction'ın başka lock'un serbest kalmasını beklemesi.

Replica'nın primary değişikliklerinin gerisinde kalma süresi.

Hit ratio, memory, eviction ve latency ölçümlerini izleme.

Queue depth, lag, failure ve processing duration ölçümleri.

Yeni sürüm sonrası hata, latency ve kaynak değişikliklerini izleme.

Yeni sürüm metriklerini eski sürümle karşılaştırarak güvenli yayın kararı verme.

Hizmetlerin güncel çalışma ve olay durumunu kullanıcılara gösteren sayfa.

Planlı bakımın yapılacağı ve kullanıcılara duyurulan zaman aralığı.