不過，台銀知情人士說，嚴家把故居內約二萬件文物暫放自由、大同之家，但故居本體不到二百坪，卻借用近千坪的台銀二處古蹟存放，無償借用多年的台銀已勉為其難，況且故居及自由、大同之家的古蹟本體早已修復完畢，目前的工程都屬景觀、圍牆等外部環境，實無道理繼續占用不歸還。
事實上，台銀的不滿早有跡可循，相較於故居的產權為國有並由文資局管理，自由、大同之家的產權屬台銀，多年來一直想收回自行管理卻無法如願。
本刊取得文化部審議國定古蹟的會議紀錄，當初自由、大同之家被提報為國定古蹟，台銀即持反對立場，指嚴家的協會未事先徵詢同意，「逕將本行二處市定古蹟提報為國定古蹟」，並稱該行經濟研究處及文物館有使用該空間的需求，另搬出《總統副總統文物管理條例》指出，國史館才是典藏、維管歷任總統副總統文物的機構，嚴家淦紀念園區的法律定位、成立目的、業務內容等「與國史館分際混沌未明」。
2021年中央政府總預算立法院決議相關文書也揭露，文資局自2018年起陸續與台銀多次協商、甚至親訪總經理，但台銀對收回自由、大同之家的立場並未改變，當時文資局稱，若台銀要收回並自行規畫再利用，仍需維持該古蹟指定之理由與價值。
本刊進一步掌握，今年3月18日，監察院前往嚴家淦故居及自由、大同之家履勘，台銀又再次表態，指自由、大同之家已規畫自行使用，董事會早已決議由該行文物館、經濟研究所進駐，並強調即便收回管理，未來會參考當初古蹟指定的理由，「連結嚴前總統與台銀及建物之關聯性」，融入整體規畫。
