出道14年，潘裕文唯一承認和韓籍女攝影師的一段異國戀，在《Wow靠！有事嗎？》節目中，他回憶起舊情，訴說著：「她是我踏入社會後，一段很認真的戀愛，我非常喜歡她。」當時他因「星光幫」走紅，女友家長希望他不要公開戀情，面對外界詢問感情狀態，潘裕文都堅稱是單身，回顧這一段，他向眾人道歉。
交往期間，兩人每個月都會拿出戀愛基金，當歌手的好處是平常日約會，出遊都沒人，但辛苦的是，為了怕戀情曝光，約會不是在家裡，就是去郊外爬山或動物園，從來沒有一起看過電影、也沒並肩走路過。有一次，他才剛進一間餐廳吃飯，十五分鐘後媽媽就傳訊息問他：「你是不是跟當時一個女生在吃飯？」讓他覺得到處都是眼線，很恐怖。
當時，兩人工作都很忙碌，加上年輕還不太懂愛是什麼，交往後期已稍有感覺女友不喜歡他了。之後，朋友雖告訴他，女方認識別的男生，潘裕文選擇相信對方，直到分手後，看到一些她跟那個男生的親密合照，他才了然於心，失戀3個月，瘦了8公斤，175公分的他，當時只剩55公斤。
對於前女友身份，潘裕文不鬆口，僅說：「跟我的圈子有關。」認識他的新男友嗎？他頓了一下說：「大家都認識。」而這一段情也讓他學會「恨」，新歌〈因為愛所以恨〉是唱給前女友聽？潘裕文說：「我很難過，但後來思考我恨的不是恨她，而是原來你努力去經營一段感情，但不一定會開花結果。」
