陳會瑞在反對當時蔣介石總統連人後，籌辦的逢甲學院就狀況不斷，雖然1961年開辦順利招生200餘名，隔年還獲教育部核准招生680人，卻爆發賣學籍的學店事件。
董事會中有人以募款為名，向沒考上大學又不想立刻去當兵的學生收錢，給予學籍以暫緩服役，每人要價約4萬元（當時基層公務員月薪約2,000元），教育部發現後除令其限期改善，並要求改組董事會。
當時創辦人之一的董事丘念台即以自己同時擔任監察委員等理由，辭去逢甲學院董事職務，由於那時學校仍在陸續擴建，需資金挹注，一手籌辦學校的陳會瑞於是與董事長蕭一山一同尋找新的董事人選，還曾找上了當年正在籌辦輔仁大學的于斌樞機主教接洽，差點就達成共識，若當時雙方合作，逢甲大學即可能會成為教會體系的學校。
沒想到，受蔣介石家族重用、時任教育部次長的高信突然出線，與陳會瑞洽談接手逢甲學院事宜，議定由高信籌款400萬元入主逢甲，陳會瑞原以為自己仍能繼續留在學校辦學，最後卻被掃地出門，1963年學校董事會改組，他不僅遭踢出董事會，就連原本的教務主任一職也被拔掉。
高信接收逢甲學院一年後，校址即從原本的大坑，遷往目前的台中市西屯區，並於1980年改制為大學，長期由高信以重建人身分主導董事會，目前該校學生2萬餘名。
陳會瑞不甘自己的心血及上千萬元投資全成空，積極向高信爭取補償，雙方纏鬥多年，直到1972年，高信同意逢甲學院與陳會瑞和解，雙方簽約議定由校方支付陳800萬元，補償他創辦學校的付出及舉債，但陳從此不得再過問學校事務，也不能再發表對學校不利的言論。
不過，爭端並未因此平息，陳會瑞在簽約同意領取800萬元支票後，遭逢甲大學內部人檢舉涉逃稅，當時陳會瑞認為，這800萬元等於是校方退還他的投資款，本來就是自己的錢，卻被國稅局一反常規地視為贈與，需要報贈與稅，1991年遭要求補稅，加上罰款共近千萬元。
陳會瑞的兒子陳力說，父親為了辦學花光家中存款，從中國撤退來台時帶的黃金也賣光光，就連母親的嫁妝金飾也已變賣籌錢，被趕出學校時，還欠下一堆工程款，已經沒有錢可補稅及繳罰款，一家人居住的房子因此遭法院查封拍賣，晚景淒涼，還好他自己經商有不錯的成果，加上朋友幫忙籌了約800萬元買下法拍屋，才讓一家人共渡難關，但隔了半年，父親就過世了。
