賴清德的萬里老家造藍白陣營指為違建，意外掀起各界對於萬里舊礦區居民房屋權益的討論。賴清德20日在政見會上公開表示，他將把老家房屋公益信託，並優先做為礦工紀念館，反問民眾黨柯文哲與國民黨侯友宜，是否願意將他們有爭議的新竹農地與文化大學宿舍凱旋苑也公益信託使用？
雖然現在賴清德已不住在萬里老家，父母也不在人世，但因為賴現在仍為副總統身分，國安局仍依特種勤務條例，在其周邊部署警衛維安；20日晚間賴清德說要將老家公益信託後，國安局也在21日就將周邊警衛撤離。
沒想到此舉竟被部分媒體人揣測，聲稱國安局撤哨是總統蔡英文下令，代表蔡英文對賴清德很生氣，所以才讓國安人員「倉皇出走」。
國安局今特別針對相關說法發出聲明澄清，「賴副總統萬里寓所相關警衛安全部署及後續撤收事宜，均依據特種勤務條例等規定辦理。」國安局表示，有鑑於賴清德已宣布將萬里老家公益信託並做為礦工紀念館，「依照相關規定，已非屬安全維護對象的居所」，因此國安局依法解除部署，辦理撤收事宜。
國安局強調，相關撤收執行，均按國安局特勤中心現行作業程序實施，非外界刻意曲解倉促撤收，「本局依法行政，針對特定媒體人刻意扭曲事實，甚表遺憾，並特此澄清。」
