カオスの特徴は、平衡点に収束するわけでもなく、周期的軌道に漸近するわけでもなく、非周期的な軌道を取る点である[16][6][13]。カオスが認識されるようになる以前は、非周期的な運動が発生するには、発生させる系自体も複雑なものだろうと考えられていたが、非常に簡単な決定論的な法則（力学系）からでも非周期運動が発生する点がカオスの特徴である[31]。平衡点収束と周期的軌道以外にも力学系では準周期的軌道と呼ばれる軌道も存在し、非常に複雑で不規則的な軌道を取るが、初期値鋭敏性を持たないことからカオスには分類されない[5]。カオスが非周期軌道を取ることの特性は非周期性(nonperiodicity)などと呼ばれる[25]。非周期的であるかどうかは、パワースペクトルが幅のある連続的スペクトルを示すかどうかなどで評価される[25][32]。
数学的定義の例

カオスの数学的定義として、しばしば引用される、位相的方法による標準的な定義であるロバート・デバニー(Robert L.Devaney)の定義がある[33][9][34]。これを例として以下に示す。

次の3つの条件を満たす写像f: V → Vは、Vの上でカオス的であるといえる[35]。
初期条件に鋭敏に依存する。

位相的に推移的である。

周期点はVにおいて稠密である。

ここで、条件1は次の条件を満たすことである[36]。fの反復合成写像をfnとしたとき、あるδ > 0が存在し、任意のx ∈ Vと、xの任意の近傍Nに対して、 。 f n ( x ) − f n ( y ) 。 > δ {\displaystyle \left|f^{n}(x)-f^{n}(y)\right\vert >\delta } を満たすような、y ∈ N、n > 0が存在する。[37]

条件2は次の条件を満たすことである[36]。任意の開集合の対U, J ⊂ Vに対して、fk(U) ∩ J ≠ ∅を満たすような、k > 0が存在する。

条件3は次の条件を満たすことである[38]。周期点の集合Yの閉包cl(Y)が、cl(Y) = Vである。
研究史
カオス命名以前

カオス理論誕生以前にも、カオスの性質の1つである初期値鋭敏性の存在について既に指摘されていた[20]。ジェームズ・クラーク・マクスウェルが、1877年の著書「物質と運動」の冒頭中で、『「同じ原因は常に同じ結果を生み出す」という、よく引用される原則がある。もう一つの原則として、「似た原因は似た結果を生む」というものがある。多くの物理現象はこれを満たすような状態にあるが、小さな初期状態の違いがシステムの最終状態に非常に大きな変化をもたらす場合もある』と述べている[39][40]。さらにマクスウェルは、続く注記の中で『気象現象は局所的な不安定性の限りない集まりに起因するような現象かもしれず、1つの有限な法則体系に全く従わないような現象かもしれない』と述べており[40]、後にローレンツが指摘するような気象現象の不安定性を指摘している[39]。

19世紀における一般的な非線形微分方程式の解法手法は、ウィリアム・ローワン・ハミルトン等の成果に代表される積分法（積分、代数変換の有限回の組み合わせ）による求解と、微小なずれを補正する摂動法である。この積分法による解が得られる系を、ジョゼフ・リウヴィルは可積分系と呼んだ。その条件は、保存量の数が方程式の数（自由度）と一致することであった。

カオス理論の始まりともされる系統的研究の最初のものとしては、アンリ・ポアンカレによる仕事が挙げられる[41]。1880年代、ポアンカレは、三体問題の研究において、非周期的で、増加し続けないまたは固定点へ到達しない軌道があり得ることを発見した[42][43]。1892年から1899年、ポアンカレは、三体問題では保存量が不足し積分法による解析解が得られないこと（ポアンカレの定理）を証明した（このような系を非可積分系と呼ぶ）。彼は、この場合に軌道が複雑となることを示唆している。ただし、この時点では、その実態は認識されていなかった。

実在の系でカオス運動を観察したと考えられる例としては、1927年のファン・デル・ポール(en:Balthasar van der Pol)とファン・デル・マークによる実験報告が挙げられる。彼らは1927年の論文において非線形電気回路の実験における周波数非増加(Frequency demultiplication)と呼ぶ現象を報告した[44]。これは彼らが構成した非線形な電気回路において、コンデンサの容量Cをパラメータ的に増加させていくと、回路の発振周波数ωがω/2, ω/3, ω/4,...という風に非連続的に移り変わっていく現象である[45]。特に、ファン・デル・ポールらは、このような発振周波数の非連続的な遷移の前に不規則な雑音(irregular noise)が発生することを報告している[45]。小室元政らは、実在の系によるカオス現象の報告はこの実験が最初だろうと推測している[46]。しかし、ファン・デル・ポールらは、この現象を副次的な現象(subsidiary phenomenon)と見なして、それ以上の研究は続けなかった[47]。

1940年代、アンドレイ・コルモゴロフ、V.B.チリコフ等により、このハミルトン力学系（例えば、多体問題といった散逸項の無いエネルギーが保存される系）のカオス研究が進められた。大自由度ハミルトニアン系カオスは、統計力学の根源に結びつくものでもあるが、その定義すら困難であり今後の研究が期待される。
カオス命名と研究の隆盛

1961年、エドワード・ローレンツにより、簡単な微分方程式から作られる天気予報の気象モデルの数値計算結果がカオス的な振る舞いをすることが発見された。1963年、この結果はテント写像により引き起こされるカオスとして発表された[48]。このタイプのカオスは、ローレンツカオス（後述するカオスの例）と呼ばれ、ローレンツ・アトラクタを持つことでも有名である。しかし、このローレンツの論文は当時はほとんど注目を集めることなく埋もれてしまった[49]。

また京都大学工学部の上田睆亮は、1961年に既に、非線形常微分方程式を解析する電気回路で発生したカオスを物理現象として観測し、不規則遷移現象と称してカオスの基本的性質を明らかにしていた。しかし、日本の学会ではその重要性が認識されず長い間日の目を見なかった。この上田が発見したストレンジ・アトラクタは、後の1980年にフランスの数学者ダビッド・リュエルによりジャパニーズ・アトラクタと命名され、日本海外でも知られるようになった[50]。

これらの複雑な軌道の概念は1975年、ジェイムズ・A・ヨークとリー・ティエンイエンによりカオスと呼ばれるようになった。また、マンデルブロ集合で有名なブノワ・マンデルブロなどにより研究が進んだ。