1967年陽明山管理局出面找來園藝試驗所及吳家人進行協調，園藝試驗所要求向吳家租地40年，但早已遭經濟壓力壓到喘不過氣，只想賣地換錢的吳家人拒絕，而園藝試驗所不但繼續霸地使用，還透過國有財產局（現為國有財產署）出面打官司，於1974年用一紙沒有承辦人、法院至今仍調不出來的「露子齊北府地二字第貳０六號」公文，推翻地方法院判決，將當年吳父向法院申請這筆土地的豫告登記塗銷，將土地又變回日本人所有，中華民國政府即順理成章以「日產」名義將該筆土地收歸國有。
吳家人歷經多次官司，要求法院提出該份公文，但各級法院均以「年代久遠、文件遺失」等理由搪塞，但卻對該公文的效力深信不移，吳家人一再質疑為何能以僅有行政效力的政府公文塗銷法院判定的假扣押內容，但始終得不到正面回應。
吳家人並沒有因此屈服，繼續和國產局打官司，但勢單力薄的一介草民怎麼和龐大的國家機器對抗，終於在1978年被最高法院判決吳家敗訴，一家人辛苦爭回的土地就此成為國有。
即便如此，吳家人仍想盡辦法透過司法討回公道，提起行政訴訟質疑政府強取他家土地的不合理之處，但歷經多個審級，法院均採信那紙「不存在的公文」效力，認定該土地原屬日本人所有，因此政府可合理接收，讓吳家人一次次陷入絕望。
面對這場打不完的官司，吳政雄坦言，行政訴訟這條路似乎已經走不通，律師建議他改打民事訴訟，不過因為土地價值太高，每一審級要繳交的裁判費就高達1、2,000萬元，根本不是他能負擔得起。看著手中被宣告無效的土地權狀，他不禁想問：「小英政府力推轉型正義，不斷去追討國民黨不當黨產，但對於政府非法侵吞的人民財產，是否也能還給我們這些無辜百姓呢？」
