カオス理論（カオスりろん、英: chaos theory、独: Chaosforschung、仏: theorie du chaos）とは、力学系の一部に見られる、数的誤差により予測できないとされている複雑な様子を示す現象を扱う理論である。カオス力学ともいう[1][2]。

ここで言う予測できないとは、決してランダムということではない。その振る舞いは決定論的法則に従うものの、積分法による解が得られないため、その未来（および過去）の振る舞いを知るには数値解析を用いざるを得ない。しかし、初期値鋭敏性ゆえに、ある時点における無限の精度の情報が必要であるうえ、（コンピューターでは無限桁を扱えないため必然的に発生する）数値解析の過程での誤差によっても、得られる値と真の値とのずれが増幅される。そのため予測が事実上不可能という意味である。
カオスの定義と特性

ある初期状態が与えられればその後の全ての状態量の変化が決定される系を力学系と呼ぶ[3]。特に、決定論に従う力学系を扱うことを強調して決定論的力学系とも呼ばれる[4]。カオス理論において研究されるカオスと呼ばれる複雑で確率的なランダムにも見える振る舞いは、この決定論的力学系に従って生み出されるものである[5]。この点を強調するためカオス理論が取り扱うカオスを決定論的カオス(deterministic chaos)とも呼ぶ[3]。複雑で高次元の系ではなくとも、1次元離散方程式や3次元連続方程式のような非常に簡単な低次元の系からでも、確率的ランダムに相当する振る舞いが生起される点が決定論的カオスの特徴といえる[6][7]。この用語は、カオス理論以前から存在するボルツマンにより導入された分子カオスと呼び分ける意味合いもある[8]。ボルツマンによるカオスは確率論的乱雑さを表しており、カオス理論におけるカオスとは概念が異なる。

カオス理論におけるカオスの厳密な定義は研究者ごとに違い、まだ統一的な定義は得られていない[9][10]。できるだけ簡単な表現でまとめると、カオスの定義あるいはカオスと呼ばれるものの特性とは、「非線形な決定論的力学系から発生する、初期値鋭敏性を持つ、有界な非周期軌道」といえる[11][12][13][14]。また、このような軌道を含む力学系の性質を指してカオスとも呼ぶ[5][15][16]。軌道を指していることを明らかにする場合はカオス軌道(chaotic orbit)と呼ぶ場合もある[13][16]。以下に、もう少し詳細に説明する。
非線形性

力学系には大きく分けて線形力学系と非線形力学系が存在するが、線形力学系ではカオスは発生しない[17]。その系からカオスが生起されるためには、系が何らかの非線形性(nonlinearity)を持つ必要がある[18][14]。言い換えると、軌道を生成する系が非線形力学系であることは、その系からカオスが生起されるための必要条件である。これの十分条件は満たされず、すなわち、非線形力学系であれば必ずカオスが生起するわけではない。以下に述べる特性と違い、非線形性はカオス軌道自体の特性というよりは、カオスを生起する系の特性である。
初期値鋭敏性

カオスの定義あるいは特性として第一に挙げられるのが初期値鋭敏性(sensitivity to initial conditions)である[19][20][注 1]。これは、同じ系であっても初期状態に極僅かな差があれば、時間発展と共に指数関数的にその差が大きくなる性質である[5]。この性質は軌道不安定性(orbital instability)と言い換えられることもある[24][25][26]。定量的には、この初期値鋭敏性は、リアプノフ指数、コルモゴロフ-シナイエントロピーなどで評価される[25][27]。

初期値鋭敏性により極めて小さな差も指数関数的に増大していくので、初期値鋭敏性を有する実在の系の将来を数値実験で予測しようとしても、初期状態（入力値）の測定誤差を無くすことはできないので、長時間後の状態の予測は近似的にも不可能となる[28][25][26]。このような性質は長期予測不能性(long-term unpredictability)[25]や予測不可能性(unpredictablity)[28]などとも呼ばれる。一方で、例えカオスであっても決定論的法則から発生されるものであるため、短時間内であれば有用な予測は可能といえる[29][14]。以上のような性質は、標語的にバタフライ効果(butterfly effect)と呼ばれる。
有界性

初期値鋭敏性、すなわち指数関数的に初期状態の差が広がる軌道を有する系というだけでは、カオスには該当しない[14][30]。カオス軌道であるためには軌道がある有界な範囲に収まる必要がある[14][12][13]。このようなカオスの特性は有界性(boundedness)とも呼ばれる[25]。

初期値鋭敏性のみではカオスとならない例として、 x n + 1 = a x n {\displaystyle x_{n+1}=ax_{n}} という単純な等比数列形式の離散力学系の写像が考えられる[30]。これに対して初期値が異なる2つの軌道を考えると、初期値の差をδとすれば、その差は a n δ {\displaystyle a^{n}\delta } で表せる。よって、これら2つの軌道は離散時間nが増加すれば指数関数的に差が開いていくので、系は初期値鋭敏性を有するといえる。しかし、これらの軌道は x n = x 0   a n {\displaystyle x_{n}=x_{0}\ a^{n}} で示される単純な指数関数曲線であり、有界な領域に収まらず発散してしまい、非周期的な軌道も存在しない。