吳清友出生台南將軍區平沙里,舊稱「馬沙溝」的小漁村。一家共有9位兄弟姊妹,他在5位男孩中排行第四,從小受到父親吳寅卯的嚴格教養。生長於日據時代的吳寅卯,讀到高等科畢業,是鄉里中難得精通日文、漢文的人才,曾經擔任過國小老師,後來也務農,擁有大片農田與魚塭。
據了解,當地的信仰中心李聖宮,四十多年前就是由吳寅卯登高一呼重新翻修,他也成了第一屆主委。吳寅卯為人善心,經常在大旱時開放自家水井供鄰人取用,「老一輩的人大多喝過吳家的井水!」
「在馬沙溝,談到吳老先生(吳清友父親),大家都是非常敬重的!」同是馬沙溝人的頂鮮一○一董事長周文保說,吳寅卯平時也在李聖宮開起私塾,免費教導鄉人與貧童識字。
吳清友喜歡閱讀的習慣承襲自父親。只是當年愛看課外書的吳清友,成績不太好。吳寅卯只准他填一個志願,就是吳清友哥哥們就讀的「台南第一高級中學」,自認考不上的吳清友轉而報考「台南高級工業職業學校機械科」。
吳清友位於平沙里的祖厝,就在敬拜南鯤鯓的李聖宮對面,一旁緊鄰著一家「榮原中藥房」。現在吳家祖厝已經改建為可以橫停2、3輛轎車的平面停車場,鄰居笑說身高188公分的吳清友,從小就高人一等,大家都喚他「長腳友」(台語)。在長輩心目中,吳清友頭腦聰明,放學後會幫忙農事,頗受疼愛。
但吳清友卻因為打架,常被警察關切,鄰居說:「其實小時候,他也沒有壞到哪裡去,只是他這個人比較重義氣,雖然不愛打架,但一看到朋友被欺負,就忍不住出手相救啦!」後來吳寅卯為了收斂吳清友的心性,要他到佛寺去靜修打禪。台南關仔嶺、旗山月世界的佛寺中,高職三年每逢寒暑假都有他短期靜居的身影。從此,吳清友變得穩重了,也在心中埋下敬仰弘一大師(佛教的宗師),以及習於思索生命哲學的種子。
高職畢業後,吳清友為了考二技到補習班苦讀,前後考了3次才拚上台北工專(現為台北科技大學)。也就在此時,他參加活動認識了太太洪肅賢,對她一見鍾情、展開追求。