賴清德父親為萬里礦區工人，在此出生成長的他即便已搬往他處，老家仍留在礦區旁。未料因為這次參選總統，萬里老家成了對手攻擊的箭靶，指控其建築是違建，要求賴清德拆除。
對此賴清德老家的鄰居相當擔憂，因為當年礦業用地可以合法蓋工寮，但礦業終止後為進行地目變更，恐讓他們喪失合法房屋權益。新北市政府地政局請居民放心，表示他們將保障礦區既有居住權益；內政部國土署則發文指出，廢礦區的居住權非傳統違建觀念，中央會保障其原有合法居住權。
賴清德競選總幹事潘孟安今（20日）被問及此事時重申，尊重法規與政府、新北市府的認定，該怎麼做就依法處理。他說明，賴的萬里老家是舊有合法房屋，在建築術語中「既存違建」指的是在過去的歷史背景，尚未實施都市計畫法與區域計畫法之前，都是合法的建築。他提到，過去的台北縣政府在廢坑、廢礦之後，主動積極推動區域計劃，讓金瓜石、瑞芳、九份鄉親得以安身立命，合法進行改造；但從民國77年（西元1988年）至今，台北縣政府及升格之後的新北市政府與中央政府，都沒有為幾千幾萬戶的礦工居民的權益找一個可以遵循的路。
潘孟安比喻，這些礦工的歷史悲歌，就像過去國民政府剛來台灣時的眷村，他支持眷村改建，而政府卻沒有為這些曾經在台灣經濟史上貢獻的礦工家庭、後代找出一條路，希望中央與地方盡快謀定一個方式，讓鄉親們的私有地可以和合法申請，呼籲內政部與新北市府合作處理法規，相信在改造後也能像九份、金瓜石一樣，轉而作為觀光民宿。
潘孟安也提到，賴清德的萬里老家是安身立命的地方，而民眾黨柯文哲的農地違法收租當停車場，以及國民黨侯友宜家族的「大群館」套房出租，都是在牟利且行之有年，呼籲柯要對外說清楚；被問到違建問題是否影響民調，潘孟安則說，民調只是參考，不是操作，目前內參民調顯示侯柯支持度如麻花捲，要到投票那一天才會清楚，而賴陣營會持續戰戰兢兢、按部就班，按表操課。
