開発はすぐに、新しく改良された第二世代の機械から始まった。この最初の「本当の」ハーレーダビッドソン・オートバイは24.74立方インチ (405 cc)のより大型のエンジンと9.75インチ (25 cm)のフライホイールを搭載し、重さは28 lb (13 kg)であった。先進的なループ・フレーム・パターンは、1903年型ミルウォーキー・マーケル・モーターサイクル[注釈 1] と類似していた。より大型のエンジンとループ・フレームは原動機付自転車のカテゴリから離れ、未来のオートバイデザインへの道筋を付けた。彼らはまたエンジンの開発に、オーレ・エヴィンルードの助けを借りた。エヴィンルードはエンジン開発のパイオニアであり、ミルウォーキーのレイクストリートで自動車用のガソリンエンジンを設計、製造していた。試作車

新しいループ・フレームを取り入れたハーレーダビッドソンの試作モデルはダビッドソン家の裏庭にある10 ft × 15 ft (3.0 m × 4.6 m)の広さの小屋で組み立てられた[12][13]。しかしながら主要な部品の大半はどこか別の場所で製作され、その中には長兄のウィリアム・A・ダビッドソンが工具室主任を務める西ミルウォーキーレールショップが含まれると考えられる。この試作モデルは1904年9月8日までに動作するよう仕上げられ、ステートフェアーパークで行われたミルウォーキー・モーターサイクルレースに参加した。このオートバイにはエドワード・ヒルデブランドが乗って4位となった。これはハーレーダビッドソンのオートバイが歴史上初めて文書化された記録である[12]。

1905年1月、「Automobile and Cycle Trade Journal」にハーレーダビッドソン製のDIY用ベア・エンジンの小さな広告が出される。4月までに完全なオートバイが非常に限られた台数だけ生産された。その年、最初のハーレーダビッドソン・ディーラーであるシカゴのカール・H・ラングが、ダビッドソン家の裏庭の小屋で生産された5台の内3台を販売した。数年後に元の小屋はジュノー通りの工場に運ばれ、モーターカンパニーの謙虚な起源に対するオマージュとして保存されていたが、1970年代初期に工場ヤードの清掃を請け負った業者によって誤って破壊された。

1906年、ハーレーとダビッドソン兄弟は最初の工場をチェストナット・ストリート（後のジュノー通り）[14] に建設した。現在はハーレーダビッドソン社の本部となっている。このジュノー通りの工場は40 ft × 60 ft (12 m × 18 m)の広さの木造建物であった。会社はこの年、およそ50台のオートバイを生産した。1907年型ハーレーダビッドソン 1,000 cc HT 1916年

1907年、ウィリアム・S・ハーレーは機械工学の学位を得てウィスコンシン大学マディソン校を卒業した。この年さらなる工場拡張が行われ、工場は2階建てとなりミルウォーキーペールイエロー（クリーム色）のレンガ造りの外観となった。新工場での1907年の生産台数は150台まで増加した。会社は9月に公式に法人格を取得した。同社はこの頃オートバイを警察署に販売し始めた。これは創立以来同社にとって重要な市場であった[15]。

1905年と1906年の生産車は全て26.84立方インチ (440 cc)の単気筒エンジンを搭載したモデルであった。1907年2月に45度V型2気筒エンジンを搭載した試作車がシカゴ自動車ショーに展示された。Vツインモデルは発表され、広告も行われたが1907年から1910年までごく少数が生産された。これら最初のVツインモデルは53.68立方インチ (880 cc)のエンジンを搭載、7馬力 (5.2 kW)を発揮した。これは最初の単気筒エンジンモデルの倍のパワーであった。最高速度はおよそ60 mph (100 km/h)であった。生産台数は1908年の450台から1909年には1149台へと飛躍的に増加した[16]。ハーレーダビッドソンの工場、1911年

1911年に改良されたVツインモデルが導入された。新型エンジンは機械式の吸入バルブを搭載し、エンジンの真空を利用して「自動的に」開閉する吸入バルブとは異なった。排気量は49.48立方インチ (811 cc)で、1911年のVツインエンジンは初期のVツインエンジンよりも小型であったが、より高性能になっていた。1913年以後、ハーレーダビッドソンが生産する大半のオートバイはV型2気筒エンジンツインモデルである。

1912年、ハーレーダビッドソンは特許を取得した「フルフローティングシート」を導入した。それはシートチューブの内側にコイルスプリングを装着し懸架するシートであった[17]。