この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方）
出典検索?: "マルコフ過程"
マルコフ過程（マルコフかてい、英: Markov process）とは、マルコフ性をもつ確率過程のことをいう。すなわち、未来の挙動が現在の値だけで決定され、過去の挙動と無関係であるという性質を持つ確率過程である。
このような過程は例えば、確率的にしか記述できない物理現象の時間発展の様子に見られる。なぜなら、粒子の将来の挙動は現在の挙動によってのみ決定されるが、この性質は系の粒子数が多くなり確率論的な解析を必要とする状態にも引き継がれるからである。
ロシア人数学者、アンドレイ・マルコフにちなんで命名されている。 マルコフ過程は以下のような分類がある。 通常現れるマルコフ過程の分布は推移確率によって決定できる。マルコフ過程 Xt の推移確率とは時刻 s に状態空間の点 x を出発して、時刻 t > s に状態空間の(可測)部分集合 Y に入る確率 P(s, t; x, Y) のことであり、 P ( s , t ; x , Y ) = P ( X t ∈ Y 。 X s = x ) {\displaystyle P(s,t;x,Y)=P(X_{t}\in Y|X_{s}=x)} で定義される。離散時間マルコフ過程の場合は t = s + 1 の場合の推移確率のみで十分であり、他の期間の推移確率は以下のチャップマン-コルモゴロフの等式により計算できる。時間的に一様な場合は、s = 0 の場合だけで十分であり、他の時刻の推移確率は P(s, t; x, Y) = P(0, t - s; x, Y) で計算できる。 さらに離散マルコフ過程の場合は Y のかわりに状態空間の一点 y を用いれば十分であり、その場合は推移確率は行列となる。 チャップマン-コルモゴロフの等式は 3 つの時刻間の推移確率の間に成り立つ関係を示した等式で、時刻 s < t < u にたいして、 P ( s , u ; x , Z ) = ∫ P ( t , u ; y , Z ) P ( s , t ; x , d y ) {\displaystyle P(s,u;x,Z)=\int P(t,u;y,Z)P(s,t;x,dy)} で与えられる。すなわち、時刻 s に x を出発し時刻 u に Z に入る確率を、途中の時刻 t でどこにいたかで場合分けして計算したものである。
マルコフ過程の分類
単純マルコフ過程
ただ 1 つの状態から次に起こる事象が決定されるマルコフ過程。単にマルコフ過程という場合は、単純マルコフ過程を指す場合が多い。
N 階マルコフ過程
連続する N 個の状態系列から次に起こる事象が決定されるマルコフ過程。どんな N 階マルコフ過程も、N 個の状態組を新たな状態空間とすることによって、単純マルコフ過程（1 階マルコフ過程）として表現することができる。N 重マルコフ過程ともいう。
離散時間マルコフ過程
時刻のパラメタが離散集合を動くマルコフ過程。通常は T = {1, 2, 3, …} を時刻の集合とする。
連続時間マルコフ過程
上とは逆に T = [0, ∞) 等を時刻の集合とするマルコフ過程。
離散マルコフ過程
マルコフ過程の状態空間が離散集合であるマルコフ過程。ここで、状態空間とはマルコフ過程が値を取る空間のことである。マルコフ連鎖ともいう。
連続マルコフ過程
連続時間マルコフ過程の軌跡が時間に関して連続であるときにいう。
時間的に一様なマルコフ過程
推移確率が現在時刻によらずに一定であるようなマルコフ過程。
マルコフ過程の推移確率
チャップマン-コルモゴロフの等式
関連項目
隠れマルコフモデル
ベッティングシステム
マルコフ決定過程
マルコフ再生過程
マルコフ連鎖
確率過程
マルコフ連鎖モンテカルロ法
表
話
編
歴
確率論
確率の歴史
アンドレイ・コルモゴロフ
トーマス・ベイズ
アンドレイ・マルコフ
ジョゼフ・L・ドゥーブ
伊藤清
確率の定義
客観確率
統計的確率
古典的確率
公理的確率
主観確率
ベイズ確率
確率の拡張
外確率
負の確率
基礎概念
モデル
試行
結果
事象
標本空間
確率測度
確率空間
確率変数
確率変数の収束
確率分布
離散確率分布
連続確率分布
同時分布
周辺分布
条件付き確率分布
独立同分布
関数
確率質量関数
確率密度関数
累積分布関数
特性関数
用語
独立
期待値
モーメント
条件付き確率
条件付き期待値
確率の解釈
ベルトランの逆説
3囚人問題
モンティ・ホール問題
サンクトペテルブルクのパラドックス
合接の誤謬
ギャンブラーの誤謬
問題
壺問題
クーポンコレクター問題
法則・定理
ベイズの定理
大数の法則
中心極限定理
コルモゴロフの0-1法則
デ・フィネッティの定理
ウィーナー＝ヒンチンの定理
測度論