10歳の時には「古文（尚書）を誦んじた」という[12]。『尚書』（『書経』）を学んだ師である孔安国[14][注 2] は当時侍中の任にあったことから、司馬遷は長安へ移っていたと考えられる[15]。さらに董仲舒らにも師事し、歴史書『春秋』は政治の根本原理を体現したものだと主張する公羊学派の影響を受けた[11][16]。
大旅行

司馬遷は20歳頃から旅に出発し、東南および中原を巡る。この旅のきっかけは何か、また一人なのか複数によるものなのかは不明だが、その旅程は詳しくわかっている[12][17]。最初に江淮（現在の江蘇省と安徽省北部）へ行き、韓信が建てた母の墓を訪ねた。次に江西の廬山から禹が疏いた九江を見物し[18]、さらに浙江省の会稽山に登り、禹が入ったと伝わる洞窟（禹穴）を探検したりした[17]。この後、彼は湘江に沿って長沙に向かった。そこで屈原が身を投げた汨羅江を見て、また当地で不遇を託った賈誼へ思いを馳せた[17]。

東南方向の旅で楚の文化に触れた後、司馬遷は北に向かい、闔閭と夫差ゆかりの姑蘇・五湖を訪れ[17]、さらに儒家発展の地である斉と魯へ赴いた[12]。魯の滞在は長期に亘ったと思われる[17][19]。その後はいずれも山東省南部と江蘇省北部に当たる?、孟嘗君ゆかりの薛[20]、彭城（徐州市）を訪れた。彭城の北には豊・沛の地があり、司馬遷はそこまで足を伸ばして蕭何・曹参・樊?・夏侯嬰（滕公）の生家を見物し、彼らの話を聞いた[21]。

その後、河南地方（開封・徐州）へ向かった。開封は大梁と呼ばれた魏の首府だった地であり、土地の人から秦の攻撃で陥落した様子を伺い、信陵君を訪ねた。[22]。徐州は戦国時代末期の楚の土地であり、ここで壮大な春申君の古城や宮室を見物した[23]。河南を後にした司馬遷は西に向かったと思われ[24]、許由ゆかりの箕山に登った[25]。
登用と巡遊随行

この旅がいつ終わったのかははっきりしない[26]。旅から戻った3年後の22歳頃、司馬遷は郎中に任命される。これは定常業務を持たないが勅命の使者や天子巡遊に従うなど、皇帝の侍従を担う仕事を行った。当時、郎中になるには2000石以上の官位を持つ者が子息に継がせるか、もしくは優秀な人物が試験を経て採用されるかの二つの方法があった。父・談の官位は600石であったため、司馬遷は後者の道筋で登用されたと考えられる[26]

彼が仕える武帝は生涯において何度も巡遊を行い、郎中の司馬遷も多くに付き従った。元鼎5年（前112年）、武帝は秦の徳公が居城とした雍で五帝を祀り、黄帝も登ったという??を訪れ、さらに西の会寧へ至った[26]。翌年には巴・蜀・?などの西南巡遊に随行し、昆明まで至った。この時の奉使は、後に「西南夷列傳」に纏められた[26][27]。
父の死と封禅漢の武帝

元封元年（前110年）、武帝は封禅の儀式に向けた準備に取り掛かり、武威を示す18万の騎兵を各地に派遣した。この軍団が洛陽に到着した際、付き従っていた父・司馬談が病に倒れた。西南奉使から戻った司馬遷は洛陽に向かった[28]。

死の床にあり、司馬談は先祖の事業が道半ばで去らねばならないことを嘆き、司馬遷へ引き継ぐよう命じた。そして、周公旦が定めた礼楽が衰えた際に孔子が現れ『詩』『書』『春秋』を著したが、400年以上が経過した今はまた事績の記録が荒んでいると指摘した[29][30]。父は子に第二の孔子となれと言い残し、息を引き取った[28]。

父の後を受け、司馬遷は封禅の儀式に加わった。?氏と嵩山の祭祀に間に合ったかどうかはわからないが、泰山での封禅には参加し、その大典の内容を「封禪書」に纏めた[28][31]。この奉使において司馬遷は斉の地を訪れ、その国の気風[32] や、斉人らの情報を得た[28]。その後、封禅の行列は北方を巡幸し、遼寧・河北そして内蒙古の五原へ至った。五所は秦の時代に整備された「直道」の北端に当たり、ここで司馬遷は蒙恬が築いた要塞などを眼にした[28][33]。

元封2年（前109年）も武帝は各地を巡り、山東半島や泰山を訪れた。この年、瓠子という場所で黄河が決壊を起こしたため、武帝は百官に薪を背負わせて向かい修復工事を行った。司馬遷もこれに付随し、後に「河渠書」を書かせる体験を得た[34]。
太史令拝命

父の死から3年後の元封3年（前108年）、司馬遷は太史令の官職を継承した。彼の才能は高く買われており、父も亡くなる際に「太史に任命される」と述べていたが、3年は喪に服す期間として置かれた[35]。彼は就任するや、友人らに政治への参加を勧めた。その中の一人・摯峻と交わした手紙が残っている。司馬遷は君子最上の生き方は徳を立てる事であり、その実現のために君主への働きかけをすべきと説く。摯峻は有能な者が取り上げられる時代が来たが、私は気楽に過ごしたいと返答し誘いに応じなかった[35]。この当時、司馬遷は血気盛んであり、任安への手紙にて、私的な事は省みず職務に専念し武帝の期待に応えると考えていたと述べている[35]。

実際、太史令となった彼は多くの書籍・文書に触れることを仕事とし[36]、豊富な知識をさらに収集した。一方で元封4年（前107年）、5年（前106年）の武帝巡遊にも従い、各地を廻った[35]。
改暦と史記編纂の開始

太初元年（前104年）、司馬遷はひとつの事業を完成させ、新たな事業に取り掛かった年であった。前者は太初暦の制定であり、後者は『史記』執筆に着手したことである。太初暦は、年初を夏の暦である春正月に固定し、二十四節気を取り入れる[37] ことで、各月の朔日・十五日・月末を確定させた。中国における時間感覚の基礎となったこの暦制定には30-40名の人間が関わり、公孫卿・児寛・壺遂・唐都・落下?ら専門家も名を連ねたが、司馬遷は「私と壺遂が律暦を制定した」と述べており[38]、主導的役割を果たしたと考えられる[39]。

司馬遷の先祖は天文を司り、星暦の観測は歴史家の重要な仕事のひとつであった。太初暦制定は、父の遺言である祖先の事業を実現する一環であり、また孔子の言葉「夏の暦が正しい」[40] を実現するものでもあった[39]。