この項目では、モジュラー変換に関する群について説明しています。部分群の束がモジュラーな群については「岩澤群」をご覧ください。

数学においてモジュラー群(modular group)とは、数論、幾何学、代数学や他の現代の数学の分野における基礎研究対象であり、幾何学的変換群や行列群により表されるものである。
定義

モジュラー群 Γ {\displaystyle \Gamma } は、ad ? bc = 1 を満たす整数 a, b, c, dによって、 z ↦ a z + b c z + d {\displaystyle z\mapsto {\frac {az+b}{cz+d}}}

と表せる複素上半平面の一次分数変換の群である。群演算は写像の合成である。

この変換の群は、特殊射影線型群 PSL(2, Z) に同型である。PSL(2, Z)は整数上の 2-次元の特殊線型群 SL(2, Z) をその群の中心 {I, ?I} で割った商である。言い換えると、PSL(2, Z) は、ad ? bc = 1 を満たす整数a, b, c, dによって ( a b c d ) {\displaystyle {\begin{pmatrix}a&b\\c&d\end{pmatrix}}}

と表される全ての行列で構成される。ただし、行列 A と -A は同一視する。群の演算は通常の行列の積である。

モジュラー群を PSL(2, Z) であると定義する著者がいる一方で、より大きな群である SL(2, Z) であると定義する者もいる。

数学的な関係より、+1または-1の行列式をもつ行列の群 GL(2, Z) を考えることを求めることもある。（ SL(2, Z) はこの群の部分群である。）同様に、PGL(2, Z) は商群 GL(2,Z)/{I, ?I} である。単位行列式を持つ 2 × 2 行列は、シンプレクティック行列であるので、SL(2, Z) = Sp(2, Z) は 2 × 2 行列のなすシンプレクティック群である。
数論的性質 ( a b c d ) {\displaystyle {\begin{pmatrix}a&b\\c&d\end{pmatrix}}}

の行列式が１であるということは、分数 a/b, a/c, c/d, b/d がすべて既約であること、つまり、共通因子を持たないこと（もちろん分母が 0 ではないという条件で）を意味する。もっと一般的には、p/q が既約分数であれば、 a p + b q c p + d q {\displaystyle {\frac {ap+bq}{cp+dq}}}

も既約となる（繰り返すが、分母は 0 ではないという条件で）。既約分数の任意のペアは、このように関連つけることができる。つまり、任意の既約分数のペア p/q と r/s に対して、 r = a p + b q {\displaystyle r=ap+bq} 　と　 s = c p + d q {\displaystyle s=cp+dq}

となるような ( a b c d ) ∈ SL ⁡ ( 2 , Z ) {\displaystyle {\begin{pmatrix}a&b\\c&d\end{pmatrix}}\in \operatorname {SL} (2,\mathbf {Z} )}

が存在する。

モジュラー群の元は、2次元の周期格子上の対称性をもたらす。 ω 1 {\displaystyle \omega _{1}} と ω 2 {\displaystyle \omega _{2}} を 2つの比率が実数でないような 2つの複素数とすると、点の集合 Λ ( ω 1 , ω 2 ) = { m ω 1 + n ω 2 : m , n ∈ Z } {\displaystyle \Lambda (\omega _{1},\omega _{2})=\{m\omega _{1}+n\omega _{2}:m,n\in \mathbf {Z} \}}

は、平面上の平行四辺形の格子となる。異なるベクトルのペア α 1 {\displaystyle \alpha _{1}} と α 2 {\displaystyle \alpha _{2}} が全く同じ格子を生成することと、 SL ⁡ ( 2 , Z ) {\displaystyle \operatorname {SL} (2,\mathbf {Z} )} の行列を用いて ( α 1 α 2 ) = ( a b c d ) ( ω 1 ω 2 ) {\displaystyle {\begin{pmatrix}\alpha _{1}\\\alpha _{2}\end{pmatrix}}={\begin{pmatrix}a&b\\c&d\end{pmatrix}}{\begin{pmatrix}\omega _{1}\\\omega _{2}\end{pmatrix}}}

と書けることは等価である。このため、楕円函数のような二重周期函数（英語版）(doubly periodic function)は、モジュラー群対称性を持つ。

有理数に対するモジュラー群の作用は、格子点 (p, q) が分数 p/q を表している正方格子として可視化すると、最も容易に理解することができる（ユークリッドのオーチャード（英語版）(Euclid's orchard)を参照のこと）。この格子においては、既約分数は原点から見ることのできる点である。分数上のモジュラー群の作用は、見ることのできる点を見ることができない（既約な）点へ変換することは決してないし、逆も成り立つ。

p n − 1 / q n − 1 {\displaystyle p_{n-1}/q_{n-1}} と p n / q n {\displaystyle p_{n}/q_{n}} が 連続した２つの連分数の近似分数あれば、行列 ( p n − 1 p n q n − 1 q n ) {\displaystyle {\begin{pmatrix}p_{n-1}&p_{n}\\q_{n-1}&q_{n}\end{pmatrix}}}

は GL(2, Z) に属する。特に、a < b かつ c < d である正の整数 a, b, c, d に対し、bc ? ad = 1 であれば、a/b と c/d は max(b, d) に対応するファレイ数列において隣接する。連分数の近似分数の特別に重要な例として、フィボナッチ数列とペル方程式の解がある。どちらの場合も、モジュラー群の半群を形成するように数列を並べることができる。
群論的な性質
表示

モジュラー群は、次の 2つの変換 S : z ↦ − 1 / z {\displaystyle S:z\mapsto -1/z} T : z ↦ z + 1 {\displaystyle T:z\mapsto z+1}

により生成されると見ることができ、すべてのモジュラー群の元は、S と T の（一意ではない）合成により表すことができる。幾何学的には、S は単位円に関する反転をしてから虚軸に対して線対称の位置への移動を表し、T は右方向への１単位の移動を表す。

生成元 S と T は関係式 S2 = 1 と (ST)3 = 1 を満たす。 これらは関係式の完全な集合であることが示されており[1]、よって、モジュラー群は次の表示(presentation)を取る。 Γ ≅ ⟨ S , T ∣ S 2 = I , ( S T ) 3 = I ⟩ {\displaystyle \Gamma \cong \langle S,T\mid S^{2}=I,(ST)^{3}=I\rangle }