Terminologi

Reachable State status j reachable dari status i apabila dalam rantai dapat terjadi transisi dari status i ke status j melalui sejumlah transisi berhingga; Terdapat n, 0 ≤ n < ∞, sehingga Pⁿij > 0

Irreducible Chain

jika dalam suatu rantai Markov setiap status reachable dari setiap status lainnya, rantai tersebut adalah irreducible.

Periodic State

suatu status i disebut periodic dengan perioda d > 1, jika pⁿii > 0, hanya untuk n = d, 2d, 3d, …; sebaliknya jika pⁿii > 0 untuk n = 1, 2, 3, … maka status tersebut disebut aperiodic.

Probability Of First Return

Probabilitas kembali pertama kalinya ke status i terjadi dalam n transisi setelah meninggalkan i. fi⁽ⁿ⁾ = P[Xn = i, Xk ≠ i untuk k = 1, 2, …, n-1 | X0 = i] (note: fi⁽⁰⁾ didefinisikan = 1 untuk semua i).

Probability of Ever Return

probabilitas akan kembalinya ke status i setelah sebelumnya meninggalkan i.

(n)

fi = _∑^∞ f_i

n=1

¹ Berdasarkan Pij = P¹ ij serta P⁰ ij = 1 untuk i= j dan P⁰ ij = 0 untuk i ≠ j (yaitu Fungsi Delta Kronecker).

Transient State

Suatu status disebut transient jika probabilitas fi <>i melalui sejumlah transisi terdapat kemungkinan tidak dapat kembali ke i.

Recurrent State

Suatu status disebut recurrent jika probabilitas fi = 1; yaitu bahwa setelah dari I melalui sejumlah transisi selalu ada kemungkinan untuk kembali ke i.

Mean Recurrence Time of State

Untuk suatu status recurrent, jumlah step rata-rata untuk kembali ke status i

∞

(n)

m_i =_∑nf_i

n=1

Null Recurrenct State

Suatu recurrent state disebut reccurent null jika mi = ∞

Positive Recurrent State

Suatu recurrent state disebut positive reccurent atau recurrent nonnull jika mi < ∞

Communicate State

Dua status, i dan j, dikatakan berkomunikasi jika i reachable dari j dan juga j reachable dari i; ditulis dengan notasi i ↔ j .

Ergodic

Rantai Markov disebut ergodic jika irreducible, aperiodic, dan seluruh status positive recurrent.