潘冠翰再2020年年底加入攻城獅，夫妻分隔兩地下劈腿女球迷被抓包，她卻毫無悔意，反而不斷逼迫妻子簽字離婚，最後不僅斷送職籃生涯，還被元配提告民事侵害配偶權。
據《聯合新聞網》《自由時報》報導，潘冠翰妻子主張兩人於2018年3月結婚，但潘冠翰2021年2月就外遇梁姓女球迷，雙方在LINE上互稱老公老婆，互傳各種鹹濕訊息，「我們5天沒打砲了、濕不了了、沒有魅力了、沒有性欲了」「昨天抱不夠、晚上再來、我只要你」「你要不要去問看看你跟你老婆能不能成功離婚」。元配認為丈夫與女球迷已構成侵害配偶權，訴請兩人連帶賠償50萬元。
不過潘冠翰與梁女的共同委任律師指出，潘冠翰婚後常與妻子爭吵，且潘為了配合妻子經營社群媒體事業、無心經營家庭，長期台北新竹兩頭跑照顧家人，妻子曾多次主動要求離婚，婚姻關係早已名存實亡。律師抗辯，表示兩人一時意料情迷發生婚外情，但相識隔月底就深感愧疚分手，至今未再聯繫，主張雙方侵害配偶權時間極短，且潘被釋出後也沒有收入，認為妻子請求金額過高。
一審判決結果出爐後雙方皆選擇上訴，北院二審合議庭認為，潘冠翰與梁女承認交往，且有對話截圖佐證，婚外情確實侵害配偶權，甚至提到如何與元配離婚，破壞家庭幸福使元配遭受極大打擊，改判2人應連帶賠償30萬元確定。
潘冠翰進入PLG之前，曾效力SBL裕隆隊長達12個賽季，擁有不錯的身高及水準以上活動力，一度入選中華男籃二隊，但球技停滯越打越平庸，後期掉出輪替鮮少上場，2018年未獲裕隆續約，加入攻城獅後同樣沒有太多起色。不過潘冠翰靠著籃球員中較為出色的外型，早在裕隆時期就受到不少女球迷注意，卻也因此葬送籃球路。
