數天前，葉光章請辭真相未明之際，有媒體以金融界人士透露方式，報導當年葉光章在美國交了1個女朋友，最後雙方和平分手，沒有人劈腿，而且之後也各自男婚女嫁，這位前女友的媽媽是蘇貞昌太太詹秀齡的手帕交，因此讓蘇貞昌對葉光章印象很差，也不管他任內業績多好，就是換人，其實該金融界人士胡說八道，根本與真相不符。
若要說起感情事，葉光章當初與妻子離婚過程才精彩，葉光章十多年前娶了宏碁創辦人施振榮的么女施宣榕，被視為金童玉女婚宴，羨煞旁人，未料，好景不常，葉光章先懷疑施宣榕與小孩的音樂老師有染，指控施宣榕在2016年1月跟管樂團家長、孩子赴日本旅遊4天3夜，音樂老師卻與妻子同宿同家飯店，2人還單獨出遊，妻子還曾多次到陳男家共處，離去時還吻別。
施宣榕不甘示弱反擊，指她在丈夫包包裡找到沒使用的保險套，丈夫手機裡還有與不詳身分女學生的親密照片、女學生也寄曖昧卡片給丈夫，她懷疑葉光章出軌，雙方互控通姦對簿公堂，檢方以證據不足將施不起訴，加上雙方協議離婚和解並撤告，後來再將葉不起訴。
由於有媒體對於葉光章離開第一金證的報導與事實不符，財政部火速提出3點說明澄清：首先，財政部公股金融事業董事長及總經理派任，都是依「財政部派任公民營事業機構負責人經理人董監事管理要點」規定辦理，於通盤考量品德能力及專業資歷，並衡酌事業發展及政策任務推動需要，報經行政院核可後核派。
其次，有關葉光章請辭，財政部表示因第一金控先前曾接獲葉光章的相關檢舉函，內容涉及內部人員管理及業務營運等公司治理不當問題，財政部長蘇建榮告知葉光章前述檢舉內容後，葉光章即提出辭呈獲准；對於檢舉內容是否屬實，現正由第一金調查當中。
第三，第一金證券董事長陳致全是由部長蘇建榮推薦，報請行政院核定後派任，而兆豐證券董事長陳佩君更早於2018年10月29日就由前行政院長賴清德核定擔任董事長一職。顯見葉光章下台，根本與30年前的感情債無關，竟瞎扯蘇貞昌老婆手帕交千金的昔日往事，至於他花用交際費大買百貨公司禮券，有待相關機關追查是否涉及刑責。
