因為唐飛內閣施政的理念與剛勝選的扁政府有太大的差距,當閣揆改由副院長張俊雄接任後,還遭到陳水扁以「搬開路上的大石頭」來暗喻唐飛得去職,去年接受媒體專訪時回首這一段過程,他還提到:「不後悔當時出任民進黨政府的閣揆,如果那時候不生病、初衷不變、場景不變,國際局勢如此,仍會願意為國家再走一趟!」展現十足的軍人愛國情操。
辭去閣揆後,唐飛裸退僅有無給職資政,還以近70歲高齡到美國哈佛大學唸書,旅美7年後才回台,偶爾還是關心時事,並在2007與王文洋等人成立台灣前途展望協會,並親自擔任理事長針對當時的政黨惡鬥發表看法。
因為軍人出身,在洪仲丘案爆發時,唐飛也接受電視媒體專訪,警告國防部應該要檢討,尤其是軍法審判沒有完全獨立處理,給社會惡劣的印象,去年下半年也還接受平面媒體專訪,談起16年前被當成石頭的往事,以及對近年國軍形象的看法。