小時候父子不同住，高中約見面吃飯，往往約在師大附中。李戡北京大學畢業後，每個暑假中午都會來書房陪父親。「一起整理他的書，我幫他整理資料，他會在那張桌子讀書，我在另一張桌子。」中午一起吃飯，李敖喜歡陪他去市場買珍珠奶茶，心情好就去逛台北車站的衡陽路，看看文星書店的舊址。「但最重要的回憶都在這裡，我維持原狀，就好像他還在一樣，只是他不在家，這種感覺非常好，有陪伴跟督促的力量，我可以更有精神。」
李戡的戡，來自動員戡亂條例的戡，母親取名，單名是李敖家族傳統。「我後來想，這個字對我爸爸有特殊意義，因為胡適用過這個字，縮地戡天，這個字最早在尚書出現過。」他喜歡這個名字，雖然讀書過程很多人不會唸，也常常被寫錯名字。
對父親的理解，從小學二年級開始。「他參加總統選舉，2000年，我的生活沒什麼打擾，我媽接我上下學，後來有維安車隊，但平常日子都是分開的，只有週末我才跟著跑行程，很厲害呀，看到群眾活動，我就知道他很不一樣。」
因為父親，他很早就開始了解政治。「第一個階段是國中，他當立法委員，很多上媒體的機會，我才知道他具體在想什麼。從政方面的抱負、反對軍購、支持中國統一。立法院的一些事件，我爸爸會跟我討論，因為讀高中了，長大了，我爸爸突然感覺身邊多了一個可以跟他溝通的親密朋友。」