1982年3月李憲文因病逝於台大醫院,年僅32歲,當時院方推來一個金屬病床,準備將李憲文的遺體移到太平間,看到金屬病床,李登輝突然親手抱起死去的愛子,因為他擔心兒子會冷,要一步一步陪著李憲文,走完人生的最後一段路。
因白髮人送黑髮人,李登輝愛子離世後,傷心欲絕,甚至一度想去當牧師傳教。李憲文過世時,女兒李坤儀(巧巧)僅有8個月大,之後李登輝將對獨子的愛都留給了孫女,對孫女疼愛有加,而李氏夫婦為懷念獨子,每年3月21日都會為他作追思禮拜。
當年李登輝與妻子對長子李憲文期望很高,管教也相當嚴格,因此父子關係相當微妙。1979年李憲文在父親節,於《中華日報》副刊發表〈我的父親〉文章,表述對父愛的渴望與矛盾,文中提到7歲時,父親自製釣竿,帶他到內湖去釣魚,李憲文形容,那根釣竿意義重大,當時的心情有如女孩子擁有生平第一個洋娃娃一般。