賴有賢笑說，以前對自己的外表好不好看是無感的，直到國中第一次追女孩，遞給對方紙條後就要到電話，「當時是淡淡好玩的交往，但相對她就給你信心，到第二次、第三次成功，你就會覺得自己在這塊比較有優勢。」他後來成為男孩的帶頭者，負責跟女孩策畫聯誼活動。
他追女生幾乎無往不利，後來跟朋友回憶還開玩笑說，「當時我算是一個會畫畫的男孩，會畫畫的男孩應該叫做有才華的人，可是我當時還沒用到才華就追到了。」這也影響到他年輕時的感情觀，「對女孩好像很容易就交往，所以愈容易交往就會愈不珍惜。」他在一段感情跟一段感情間游移，「發現對方愈喜歡我的時候，我就逃了。」他也坦承，當初不少女孩因為他而受傷。
驀然回首 她一直在身旁
當兵時，別人是被兵變，他是一堆女孩寫信給他，「我會去炫耀，那時就是喜歡這種感覺嘛。」後來被派駐到北投擎天崗當站衛兵的班長，才認識現在的老婆，他描述當初的情景：「下了哨我會到那邊的賣場喝咖啡，眼睛就開始飄，後來看到兩個工讀生在那邊促銷健康醋，兩個女孩一高一矮，好像還滿可愛的。」他鼓起勇氣過去認識，「她們一定知道有個軍人整天眼睛一直飄來飄去，所以一定想說我早晚會過來，只是不知道到底會選擇哪一個。後來我選擇矮的，因為我個子也不高。」他幽默地述說這段過往，我內心卻為他捏把冷汗（若老婆看到這段⋯）
而雖然跟老婆早已認識，但當時賴有賢在感情仍是「飄來飄去」，直到進入漫畫圈才有改變，「只要在外面你的心就是很野很花的，水瓶座又是博愛嘛。反正一切男人負面的東西都會列在你頭上。轉折是說，其實畫漫畫要下一個很大的決定，你創作的時候要把自己關起來，你所有的行為跟時間都會因為創作漫畫而被鎖上。」後來他把心定在漫畫上，「驀然回首的時候，還發現有個人一直在你旁邊，就是現在的老婆。」
