Markov Zincirleri ile Sistem Güvenilirliği ve Karar Modelleme

1. Markov Zinciri Nedir

Rusya matematikçi Andrei Andreyeviç Markov'un 1906'da tanımladığı bu stokastik süreç, temel bir özelliği nedeniyle endüstri mühendisliğinin en güçlü araçlarından biridir: Bir sonraki duruma geçiş, yalnızca mevcut duruma bağlıdır — geçmişe değil.

Bu "beleksizlik" (Markov özelliği / memoryless property) özelliği, modeli analitik olarak çözülebilir kılar. Günlük hayattan bir örnek vermek gerekirse: Bir havanın yarın yağmurlu olup olmayacağını tahmin ederken, sadece bugünkü hava durumuna bakarsınız — bir hafta önceki hava durumunu bilmezseniz de iyi bir tahmin yapabilirsiniz.

Bir Markov Zinciri şu bileşenlerden oluşur:

2. Kısa Tarihçe: Andrei Markov'dan Günümüze

Andrei Markov (1856–1922), St. Petersburg Üniversitesi'nde matematik profesörüydü. 1906'da Rusça sesli harflerin ve sessiz harflerin bir şiirde art arda gelme istatistiğini analiz ederek, bağımlı olasılık dizilerinin davranışını inceledi. Bu çalışma, bağımsız olaylar üzerine kurulu klasik olasılık teorisine önemli bir genişleme getirdi.

20. yüzyılın ikinci yarısında Markov Zincirleri şu alanlara yayıldı:

• 1950'ler: Kuyruk teorisinde (Erlang ve Kendall'ın çalışmaları) kullanım
• 1960'lar: NASA'nın uzay aracı güvenilirlik analizlerinde uygulama
• 1970'ler: Google'ın PageRank algoritmasının öncüsü olan akademik çalışmalar
• 1980'ler: Konuşma tanıma sistemlerinde Hidden Markov Models (HMM)
• 2000'ler: Google PageRank — web sayfalarını sıralamak için devasa bir Markov Zinciri
• 2020'ler: Kestirimci bakım (Predictive Maintenance) ve IoT sensör verileriyle birleşme

3. Geçiş Matrisi ve Geçiş Diyagramı

Bir Markov Zinciri, tüm durum geçiş olasılıklarını içeren P matrisi (stokastik matris) ile tanımlanır. Stokastik matrisin temel kuralı: Her satırın toplamı 1'e eşittir.

3.1 Örnek: Makine Durumu Modeli

Bir fabrikadaki CNC tezgahının haftadan haftaya durumu üç kategoride izlensin:

• G (Good / İyi): Makine sorunsuz çalışıyor
• D (Deteriorating / Kötüleşiyor): Titreşim artmış, verim düşüyor
• F (Failed / Arızalı): Makine durmuş, üretim yapılamıyor

3.2 Bu Matrisi Okumak

Geçiş matrisinin her bir hücresinin anlamını şöyle okuyabiliriz:

4. Chapman-Kolmogorov Denklemi: n-Adım Geçişleri

Bir Markov Zincirinin en güçlü özelliklerinden biri, n adım sonrasındaki durum olasılıklarını hesaplayabilmesidir. Eğer P matrisi biliyorsanız, n adım sonrasındaki geçiş matrisi basitçe:

4.1 Adım Adım Hesaplama Örneği

Makine başlangıçta "İyi" durumda olsun: ₀ = [1, 0, 0]

1 hafta sonra (n=1):

2 hafta sonra (n=2):

Bu hesaplamayı tablo halinde özetleyelim:

5. Durağan Dağılım (Steady-State) Hesabı

Uzun vadede sistem, hangi durumda ne kadar süre geçirir Bu sorunun cevabı durağan dağılım vektörü 'dir. İki temel koşulu sağlar:

5.1 Çözüm: Denklem Sistemi

· P = açılımı:

5.2 Endüstriyel Yorum

6. Durumların Sınıflandırılması

Markov Zincirlerinin doğru analizi için durumların sınıflandırılması kritiktir:

7. Absorbe Edici Markov Zincirleri

Bazı sistemlerde belirli durumlar absorbe edici'dir: Oraya girildikten sonra çıkış yoktur. Bu tür zincirlerde en önemli sorular:

• Absorbe edilme öncesinde ortalama kaç adım atılır
• Hangi absorbe edici durumda sonlanma olasılığı nedir

7.1 Proje Tamamlama Örneği

Bir yazılım projesinin aşamaları: Analiz › Tasarım › Kodlama › Test › Tamamlandı (Absorbe edici)

8. Sürekli Zamanlı Markov Zincirleri (CTMC)

Ayrık zamanlı zincirlerde geçişler sabit aralıklarla olurken, CTMC'de geçişler herhangi bir anda gerçekleşir. Bir durumda kalma süresi üstel dağılım izler.

CTMC, kuyruk teorisi modellerinin (M/M/1, M/M/c gibi) temelidir. Doğum-ölüm süreçleri, CTMC'nin özel bir halidir.

9. Makine Güvenilirlik Modeli: Bakım Stratejileri Karşılaştırması

Markov Zincirlerinin en yaygın endüstriyel kullanımı, bakım stratejilerinin karşılaştırılmasıdır. Farklı bakım politikaları, geçiş matrisini değiştirir ve böylece durağan dağılımı (yani uzun vadeli maliyeti) etkiler.

10. Stok Yönetimi Uygulaması

Bir deponun haftalık stok seviyesi Markov Zinciri ile modellenebilir.

10.1 Problem Tanımı

Bir yedek parça deposu (S=3, s=1) politikası izliyor:

• Hafta sonunda stok seviyesi s=1 veya altındaysa, S=3'e tamamla
• Haftalık talep: 0 adet (%30), 1 adet (%40), 2 adet (%20), 3+ adet (%10)

Bu modelin durağan dağılımı hesaplanarak ortalama stok maliyeti, beklenen stoksuz kalma oranı ve optimal sipariş politikası belirlenebilir.

11. Kuyruk Teorisi ile Bağlantı

M/M/1 kuyruğu, aslında bir Doğum-Ölüm Süreci'dir ve sürekli zamanlı Markov Zinciri (CTMC) olarak modellenir:

12. Vaka Çalışması: Enerji Sektörü — Türbin Bakım Optimizasyonu

13. Vaka Çalışması: Pazar Payı Analizi

14. Python ile Markov Zinciri Simülasyonu

Aşağıdaki Python kodu, yukarıdaki makine bakımı örneğinin durağan dağılımını hem matris kuvveti yöntemiyle hem de denklem çözümüyle hesaplar:

import numpy as np # Geçiş Matrisi P = np.array([ [0.85, 0.10, 0.05], # G › G, D, F [0.20, 0.60, 0.20], # D › G, D, F [0.60, 0.10, 0.30], # F › G, D, F ]) states = ['İyi (G)', 'Kötüleşiyor (D)', 'Arızalı (F)'] # ¦¦¦ Yöntem 1: Matris Kuvveti ¦¦¦ P_100 = np.linalg.matrix_power(P, 100) print("= Yöntem 1: P^100 ile Durağan Dağılım =") for i, s in enumerate(states): print(f" ({s}) = {P_100[0][i]:.4f}") # ¦¦¦ Yöntem 2: Denklem Sistemi (P = ) ¦¦¦ # (P^T - I) * = 0 denklemini çöz A = P.T - np.eye(3) A[-1] = [1, 1, 1] # Son satırı normalizasyon koşuluyla değiştir b = np.array([0, 0, 1]) pi = np.linalg.solve(A, b) print("\n= Yöntem 2: Denklem Çözümü =") for i, s in enumerate(states): print(f" ({s}) = {pi[i]:.4f}") # ¦¦¦ n-adım olasılıkları tablosu ¦¦¦ print("\n= n-Adım Olasılık Tablosu =") print(f"{'Hafta':>6} {'P(İyi)':>10} {'P(Kötü)':>10} {'P(Arızalı)':>12}") pi_0 = np.array([1, 0, 0]) # Başlangıçta İyi for n in [0, 1, 2, 5, 10, 20, 50]: pi_n = pi_0 @ np.linalg.matrix_power(P, n) print(f"{n:>6} {pi_n[0]:>10.4f} {pi_n[1]:>10.4f} {pi_n[2]:>12.4f}") # ¦¦¦ Maliyet Analizi ¦¦¦ arizalı_oran = pi[2] haftalik_maliyet = 500_000 # yillik_ariza_hafta = arizalı_oran * 52 yillik_maliyet = yillik_ariza_hafta * haftalik_maliyet print(f"\n= Maliyet Analizi =") print(f" Yıllık beklenen arıza süresi: {yillik_ariza_hafta:.1f} hafta") print(f" Yıllık beklenen arıza maliyeti: {yillik_maliyet:,.0f}") 

15. Sınırlamalar ve Dikkat Edilmesi Gerekenler

16. Sonuç ve Öneriler

Markov Zincirleri, endüstri mühendisliğinin temel stokastik araçlarından biridir. Bu makalede ele aldığımız konuları özetleyelim: