說自己10年沒進辦公室、已退休的他,把精力放在文物收藏及公益事業,還曾因捐1億元給母校政治大學,入選2010年《富比世》亞洲慈善英雄榜,當年台灣僅4人上榜,其他3位是國泰金控董事長蔡宏圖、陽光電子儀器董事長林宏裕,以及台東賣菜阿嬤陳樹菊。
這幾年,他陸續在台灣大量捐款,捐助對象從學生、警察到身障者皆有,潘思源也重視生態環保,從海龜、藻礁、樹林都是他關心的項目,更有意思的是,2013年受《看見台灣》紀錄片感動,隔年潘思源就捐款400萬元給環保署,做為民眾檢舉企業排放汙染物到河流的獎金。
此外,泰北清邁、清萊一帶,仍有不少當年國共內戰後,滯留在當地的國民黨軍後代,縱使入了泰籍,因不想斷根,仍堅持學華文、寫正體字,潘思源深受感動。因此,他數次飛到泰國,從捐助獎助學金、文具物資,到發現當地建築落後,便再捐新校舍,從動土、施工到驗收,都親自到場,「我是非常堅持做公益不只是給錢,還要給心,要參與了解當地的情況。」
「這幾年我們做的,就是希望泰北清邁受華僑教育的學生能多點教育資源,所以我們主動跟當地學校聯絡,問他們需要什麼?」泛太平洋集團總經理李慶安說。據了解,這些年潘思源捐助物資給清邁、清萊逾60所小學,領取過他獎學金的學生超過300位。
「10年前,我才發現自己好像很有錢。」儘管擁數百億的身家,潘思源的生活卻非常簡樸,說自己1個月開銷才2萬元,「你猜我今天怎麼到機場?自己搭計程車來,才100多元,多好!等下我也這樣回去。」採訪當天的中餐,他也僅簡單吃盤蚵仔煎、魚丸湯解決。他又打趣自己說:「想想不對啊,私人飛機1天就要15萬元,我1個月才花2萬元。」