回顧歷任政府對於故居及自由、大同之家的處理態度,根據扁時代的總統府新聞稿,嚴家淦伉儷相繼逝世後,故居依規定要在2000年4月底前歸還,當時甫當選總統的陳水扁在就職前請幕僚與總統府聯繫盼暫緩,上任後隨即決定故居完整保留,並在2002年1月指定為國定古蹟,朝成立嚴家淦總統紀念館方向規畫。
馬英九執政後,2008、09年間決議要將故居及自由、大同之家朝紀念園區作整體規畫。2015年底,蔡英文以總統候選人身分出席嚴家淦冥誕紀念展,當時嚴雋泰送她嚴家淦生前的攝影作品並祝「一帆風順」,蔡則讚嚴家淦主導預算制度建立、推動財政改革及九年國民教育等,「貢獻在那個時代是數一數二的、樹立了合作改革的典範」。隔年蔡當選聘嚴雋泰為國策顧問,並在任內由文化部循程序,將故居、自由及大同之家由住宅區變更為保存區,同時指定自由、大同之家為國定古蹟。
2020年10月,扁甚至曾暗批台銀:「因部分土地所有權人本位立場,缺乏歷史觀,想要切割自由之家、大同之家自行規畫使用。」呼籲重視嚴家淦紀念園區。曾任馬政府國發會副主委的黃萬翔同年也撰文,指台銀提出自行規畫營運管理之議,將造成園區一分為二、各自為政的危機與困境。
熟知本案爭議的綠營人士說,從歷史來看,保留前任總統故居有其意義,歷來政府也同意規畫成園區,因此讓嚴家保有故居的維護、使用權尚有道理,但自由、大同之家所有權屬台銀是事實,卻出借千坪空間長達8年收不到租金,難怪會被形容成占用,新政府若不能妥善處理,未來非國有的古蹟恐面臨類似難題,不利全國古蹟管理。