「四」は金文で始めて使われた字で、その前の甲骨文字では「?」が使われた。「?」は「三」と紛らわしいため、仮借で「四」を使うようになった。「四」は口から息が出る様子を表す象形字であり、今は意符の「口」を加えて「?」と書く。
「五」は交差する木で作られた蓋を表す象形字である[10]。5 として使うのは仮借である。祝祷を収めた器に蓋をして守ることを表す象形字が「吾」であり、「?」、「圄」にその音と意味が残っている。
「六」は小さい幕舎（テント）を表す象形字だと考えられるが、その意味で使われたことはない[10]。6 として使うのは仮借である。「六」を重ねた字が「?」であり、これが「陸」になった。「六」と「陸」は音が同じである。
「七」は小刀で骨を切る様子を表す象形字であり、7 として使うのは仮借である。元の意味は、意符の「刀」を加えて「切」と書く。
「八」は二つに分けることを表す指事字である。8 が 8 → 4 → 2 → 1 と二分できることを示すとされる。二分するという意味の「八」を含む字が、「分」や「半」である。
「九」は体を曲げた竜を示す象形字であり[10]、9 として使うのは仮借である。原義を示す字は「?」であろう。
これらは、甲骨文字では「一」、「二」、「三」、「?」を縦にしたものである。ただし縦線の下端で互いにつながっている。金文では、線の中央に点が加えられるようになった。この点が横に伸び、現在の字形になった。
「廿」の異体字に「?」がある。また、「卅」の異体字に「丗」があるが、「世」の異体字とも言われる。
「百」は「一」と「白」を合わせた字である。「白」は単に音を示す。甲骨文字では二百を「二」と「白」、三百を「三」と「白」というように組み合わせる。
「千」は「一」と「人」を合わせた字である。「人」は単に音を示すとも[10]、人数の多さを表すとも言われる。甲骨文字では、二千を「二」と「人」、三千を「三」と「人」というように組み合わせる。
「万」は元々「萬」と書いた。「萬」はサソリを表す象形字であり、仮借で 10000 の意味に使うようになった。元の意味は、意符の「虫」を加えて「?」と書く。ただし「萬」と「?」は音が全く異なる。
一方、仏教の吉祥の印である卍は、当初は徳と訳されたが、北魏の菩提流支は十地経論の中で、卍を萬と訳した。萬徳の意味である。693年、武則天は卍を萬と読むことを定め、以降、卍は萬と通用するようになった。この卍あるいは?が変化した字が「万」である。
戦後、日本の新字体および中国の簡体字で正式に「万」に改められた。
漢数字は主に数詞を表すために使われる。漢数字による数詞を漢数詞と呼ぶ。この場合、漢数字の通りに発音するので、数字より文字と見なすべきである。漢字文化圏の言語の数詞は基本的に古代の中国語に基づくが、多少の違いがあるため、表記にも当然違いがある。
上位から読むこと、大数は 4 桁ごとに区切ることは、共通である。
日本語では、まず数を下位または小数点から 4 桁ごとに区切り、各 4 桁の組に「万」、「億」などの単位を付けて、上位から読む。4 桁の組の中では、「千」、「百」、「十」を単位として区切り、上位から読む。百位または十位が 1 のとき、「一」を言わず単に「百」、「十」と読む。千位は「一」を読んでも読まなくても良い。また、桁の数と単位が結びついて連濁や音便を起こす。
例:
数漢数字読み
59五十九ごじゅうきゅう
370三百七十さんびゃくななじゅう
1234（一）千二百三十四（いっ）せんにひゃくさんじゅうよん
読みは主に呉音だが、〇、四、七、九は異なる読み方をする。〇は元々漢音しか使わないが、残りは比較的最近の変化である。大槻文彦の『口語法別記』（1917年）には、以下の記述がある[11]。
數を呼ぶに、次のように云ふことがある、聞きちがわせぬ爲である。二百四十番（ふたひゃくよんじうばん）四百七十九圓（よんひゃくなゝじうきうえん）
当時はまだ「よん」、「なな」、「きゅう」は一般的ではなく、呉音の「し」、「しち」、「く」が使われていたことが分かる。ただしこれは東京の場合で、大阪では江戸時代にすでに「よん」、「なな」、「きゅう」になっていたという[12]。「ふた」は定着せず、株式市況や競馬などで使われるだけである。 ただし、四の後に助数詞が付くときに「よ」と読むのは古くから行われた。これは「死」との同音を避けたためである。ジョアン・ロドリゲスの『日本大文典』（1604年）第三巻、「数名詞に就いて」の「構成」には、以下の記述がある[13]。
四つを意味する Xi （四）は或語とは一緒に使はれない。それは死とか死ぬるとかを意味する Xi （死）の語と同音異義であって，異教徒は甚だしく嫌ひ，かかる語に接続した四つの意の Xi （四）はひびきがよくないからである。従って，その代りに‘よみ’の yo （よ）を使ふ。
詳しくは四の字を参照すること。
小数や住所、電話番号などで数字を粒読みする時、二と五は「にー」、「ごー」と 2 拍で読む[1]。また住所や電話番号などを粒読みする時は、〇を「まる」と読むことが多い。これは英語の oh と同じである。