クルーの努力も空しく123便は降下し続け、18時56分14秒に対地接近警報装置が作動。同17秒頃、機体はわずかに上昇しだしたが18時56分23秒、機体後部と右主翼が樹木と接触した。このとき、機首を上げるためエンジン出力を上げたことと急降下したことで、速度は346kt（640km/h）に達していた。接触後、水切りのように一旦上昇したものの機体は大きく機首を下げ右に傾いた。26秒、右主翼が地面をえぐり同時に機体の破壊が始まった（垂直・水平尾翼、右主翼の脱落）。28秒には機体後部が分離。機体は機首を下げながら右側に回転してゆき18時56分30秒、高天原山の斜面に前のめりに反転するような形で衝突、墜落した。
これらの正確な墜落時間は、東京大学地震研究所が長野県川上村に設置していた地震計に異常な震動が記録されていたため特定できた。18時56分28秒まで録音され続けていたボイスレコーダーには23秒と26秒頃に衝撃音が残されていた。23秒の衝撃音の直前には、機長の「もうだめだ」とも聞き取れる叫び声も記録されていた（その後、ボイスレコーダーに録音されていた音声は活字の形で公表されたがこの叫び声は判読不能とされている）。
衝撃によって、機体前部から主翼付近の客室は原形をとどめないほどバラバラになり炎上した（後の調査によれば機体の大部分は数百Gの衝撃が加わったとされる）。両主翼も離断し炎上した。一方、28秒に分離した客室後部と尾翼は山の稜線を超えて斜面を滑落していった。客室後部は尾根への激突を免れて、斜面に平行に近い角度で着地し、樹木をなぎ倒しながら尾根の斜面を滑落して時間をかけて減速した。
このため最大の衝撃が小さく、それ以外の部位と比較して軽度の損傷にとどまった。また、火災も発生しなかった。これらの要因によって、客室後部の座席に座っていた女性4名は奇跡的に生還できた。しかしその他の者は即死（遺体さえバラバラに吹き飛び原型を留めなかった者もあった。機長も唯一、一部の歯と見られるものが残っていただけだった）もしくはそれに近い状況だった[5]。
123便の機影は墜落直前、18時56分02秒にレーダーから消失した。高度3000m以上は通常レーダーにより監視されていることからアンテナが箱根山の山頂にあるレーダーにも写らない低空飛行、地上への墜落のいずれかの事態が考えられた。18時59分、救難調整本部が警視庁、航空自衛隊、海上保安庁に通報した。一部関係者は低空飛行をし続けている事を願い、日航、ACCなどが123便に対して呼び出しを続けていた。社内専用無線では同僚たちからクルー達への励ましの言葉も伝えられたと言われている。19時21分に自衛隊機が秩父市近郊で山火事を発見する。
後述の通り、この時点では上空からのおおよその特定のみで墜落現場の正確な地点の発表や報道はされていない。一部でここが123便の墜落地点かと推測も飛び交ったが、日航、ACCなどは諦めずに交信し続けた。だが19時半を過ぎても依然としてレーダーに123便の機影は写らず、どの空港や基地にも123便が着陸したとの情報もなく墜落がほぼ確実なものとなった。たとえ低空飛行を続けていたとしても燃料が枯渇する頃と推測されたため、各機関は捜索準備に取りかかる。レーダー消失地点などから捜索エリアは群馬県と長野県の県境付近と設定され19時45分、運輸省（当時）に捜索本部が設置され捜索が開始された。そして20時30分、関係機関は山火事が確認された長野県南佐久郡近郊を123便の正式な墜落地点とした。
複雑な地形、険しい山地、日暮れの時間帯という悪条件が重なり、更に県境だったため管轄面のことから一部の新聞社などのヘリコプターや自衛隊機では墜落現場を確認できたが正確な場所の特定にはなお時間がかかった。救助も当時のヘリコプターの装備・仕様では、夜間における接近は困難だったために地上からの救出に全力を挙げることとされたが、レスキュー隊が墜落現場に向けて動き出したのはあくる13日4時前だった。大半は徒歩で現場まで向かい、付近は険しい地形だったため墜落現場に到着したのは事故から14時間ほど経った13日8時半だった。
捜索開始当初、墜落現場は長野県側（テレビのニュース速報テロップでは「長野県佐久市付近に墜落か」と出た時もあった）ではないかという憶測が飛び交ったこと、防衛庁（現・防衛省）の発表やNHKによる「墜落現場」の報道が二転三転したうえ悪戯や誤報の情報に惑わされ各機関が独自の憶測で行動し、連係がとれずおおよその位置しか掴めなかったことも現場の発見を遅らせた。
また、123便が輸送していた医療用放射性同位体や一部動翼のマスバランスに使われていた劣化ウランなどによる周辺への放射能汚染の警戒も、到着が遅れた一因となった。
結局、現場に一番早く到着したのは日の出とともに登った地元の消防団だった。
事故直後、123便が墜落したと判断した航空自衛隊レーダーサイト要員からの具申を受け、当時の中部航空方面隊司令官・松永貞昭空将は捜索機の緊急発進を了承。百里基地にスクランブル待機していた第305飛行隊のF-4EJ戦闘機が現場へ向かったほか、百里救難隊（航空救難団）も待機状態に入ったが災害派遣命令がなかなか出されなかったため、事故から1時間後に独自で出動。また、入間基地及び陸上自衛隊立川基地のヘリコプターも夜間から朝方にかけて現場の詳細な位置を確認して報告した。百里基地のRF-4E偵察機は当時即応体制になかったため、発進は翌朝6時だった。
当時、海上公試中だった海上自衛隊の護衛艦「まつゆき」（艦番号DD-130）は相模湾で事故機の垂直尾翼の一部を偶然発見、回収した。
正式な災害派遣命令が下された後に、陸上自衛隊の部隊などが現地入りして捜索救出活動を行った。現場は険しい山中だったために車輌の進入やヘリコプターの着陸は容易ではなかった。遺体収容に先立って生存者4名が陸上自衛隊の輸送ヘリコプターV-107によって現場から救出・搬送された。この際の上空でホバリング中の機体への生存者の収容作業は、救出活動を象徴する映像となった。
当時の自衛隊には夜間しかも山間部での救難活動が可能なヘリコプターがなく、事故発生直後、事故現場上空で捜索活動を行った航空自衛隊・百里救難隊所属の救難ヘリコプターV-107「バートル」に現場周辺を明るく照らす照明弾が装備されていたものの照明弾が地上に落下した後、「燃焼熱で山火事を誘発する危険性がある」として使用が出来なかった。
これを教訓として1990年より夜間捜索可能な赤外線暗視装置を装備した、UH-60 ブラックホーク救難ヘリコプターが順次調達されている。
事故発生翌日朝、報道のヘリコプターが多数、墜落事故現場上空に殺到した為、現場上空の航空管制の為、航空自衛隊入間基地航空総隊司令部飛行隊所属のYS-11FCが派遣された。