早婚的他共生了3個女兒,老大已經讀大學,老么還是小學生。由於吳的家世背景好,加上個性溫文儒雅,講話慢條斯理,甚至有點結巴,反而讓身邊女性認為吳很老實。
但吳當了11年議員,緋聞從沒斷過,包括曾任台北市議員的現任立委吳思瑤、張姓紅粉知己,如今連議員李婉鈺都與他傳出戀情。
2009年2月,吳志剛被媒體直擊,與當時同為台北市議員的吳思瑤,在吳志剛車上「靠頭倚偎、親密互動、貼臉倚肩」,但2人皆否認交往。
今年1月,吳志剛被媒體直擊,與曾任櫃姐的張姓女子過從甚密,2人不但常一起吃飯、逛街,吳甚至深夜前往張女住處。吳及張女皆未回應。