隣県の新潟県や秋田県と同様に県内全域が日本海側気候であり、県全域が豪雪地帯に指定されており、そのうち面積にしておよそ75%が特別豪雪地帯である。日本海に面する庄内地方が、夏冬ともに県内では最も気温が高く、年間平均気温も北関東や東京都の西部内陸部とあまり変わらないほどで、緯度の割に温暖であるかが分かる。夏は熱帯夜になるほど蒸し暑い一方、冬は温暖だが、日照時間が少ない。気温が高いために雪は降っても解けやすく、山形市の場合、積雪量はそれほど多くは無いが、酒田市や鶴岡市などでは突発的に豪雪となる年もある。一方、内陸側は内陸性気候で寒暖の差が激しく、置賜地方などでは−15°C近くまで下がることも珍しくない。夏は非常に暑いが比較的乾燥しており、朝晩は涼しくなり、熱帯夜も庄内地方と比べると少ない。
春季から夏季にかけてはフェーン現象が発生しやすく、突発的に猛暑日に見舞われることも決して少なくない。1933年（昭和8年）7月25日に山形市で観測された気温40.8°Cは、2007年（平成19年）8月16日に埼玉県熊谷市、岐阜県多治見市で観測された気温40.9°Cに抜かれるまで、74年間にわたって日本最高気温の記録を保持していた。
山形県各地の平年値（統計期間：1971年 - 2000年、出典：気象庁・気象統計情報
）平年値