2004年2月13日，安迪和太太阿娥因為捲入「非常光碟」事件，演藝事業跌落谷底，光碟畫面中夫妻倆被拍到吸毒、縱慾等畫面，其中還有安迪吸毒、裸身擁女激情跳舞等片段，當時安迪受訪曾解釋自己是因政治因素被設計下藥偷拍陷害，透過民進黨籍立委蔡煌瑯向刑事局長報案，新聞曝光前，還有人拿著光碟向他勒索1,000萬元，但被他拒絕。
事後2人接受毛髮鑑識也確實出現搖頭丸陽性反應，而被移送士林看守所勒戒，安迪與阿娥的演藝事業也因此遭到封殺，曾一度從螢光幕消聲匿跡14年，從勒戒所出來之後，曾整整2年沒有收入，只好賣掉房子租屋，他跟老婆到夜市賣唱，見到人就鞠躬哈腰。
他曾回憶當時說說：「我很怕再見到人，因為怕人家會在我頭上貼上『吸毒犯』」3個字！」為了家庭經濟重擔，安迪開始培養第二專長，5年前考取潛水教練執照改當教練，好不容易復出接戲，沒想到又罹患食道癌三期。
