1989年、第15回参議院議員通常選挙に民社党公認で立候補するも落選。
2000年6月の第42回衆議院議員総選挙で民主党は比例東海ブロック単独1位候補として山谷を擁立。同党は同ブロックで7議席を獲得し、初当選した。民主党では「次の内閣」の教育科学技術大臣（第2次鳩山由紀夫「ネクスト・キャビネット」）・文部科学ネクスト大臣（第2次鳩山由紀夫改造「ネクスト・キャビネット」）を担当した[10][11]。
2003年11月の第43回衆議院議員総選挙に東京4区から保守新党公認で立候補するも落選。
2004年、第20回参議院議員通常選挙で自由民主党から比例区に立候補し、当選した。
2005年10月31日、第3次小泉改造内閣が発足。同年11月2日、内閣府大臣政務官に就任。内閣総理大臣補佐官就任時の記者会見にて
2006年9月に発足した第1次安倍内閣では内閣総理大臣補佐官（教育再生担当）に就任し、第1次安倍改造内閣でも留任、福田康夫内閣でも再任された。
2012年10月、当時野党であった自由民主党のシャドウ・キャビネットでは、国家公安委員会委員長、内閣府担当大臣（拉致問題、領土問題、行政改革、公務員制度改革、男女共同参画、地方分権改革、沖縄･北方対策担当）を“担当”した。
2014年9月3日、第2次安倍改造内閣の発足にともない初入閣。国家公安委員会委員長と内閣府特命担当大臣（防災担当）の2ポストを兼務することになった[13]。同時に、国務大臣の所管事項として「北朝鮮による拉致問題の早期解決を図るため企画立案及び行政各部の所管する事務の調整」[13] と「海洋及び領土問題に関する施策を集中的かつ総合的に推進するため企画立案及び行政各部の所管する事務の調整」[13] と「事前防災の観点から国土の強靭化を推進するため企画立案及び行政各部の所管する事務の調整」[13] をそれぞれ担当することとなった。同年12月の第3次安倍内閣で再任。
