Proses Rantai Markov

Proses stokastik {X(t), t ∈ T} merupakan suatu Proses Markov jika untuk

setiap n+1, dengan indeks t1< t2 < …< tn < tn+1 dan harga-harga status {x1, x2,

…, xn+1}, terjadi persamaan: P[X (t_n+1) = x_n+1| X (t₁) = x₁, X (t₂) = x₂ ,..., X (t_n ) = x_n ] =

P[X (t ) = x | X (t ) = x ]

n+1 n+1 nn

Persamaan tsb. secara narasi dapat dikatakan proses selanjutnya hanya bergantung pada status saat ini, bukan pada “sejarah” dari proses tersebut. Dalam proses Markov status-status proses yang terjadi selama ini dicerminkan oleh status saat ini.

Sebagaimana terminologi di awal, suatu proses Markov disebut Rantai Markov jika ruang status diskret. Untuk waktu diskret, rantai Markov dapat digambarkan sebagai diagram transisi status.