雲林縣議員廖郁賢與黃捷、台南市議員林易瑩過去曾被稱作是時代力量南台灣三姐妹，然而黃捷在2020年8月退黨，當時為了時力決策委員會改選一事，黃、廖被黨中央質疑招攬人頭黨員，2人數度自清未果，黃捷選擇離開，廖則希望留下來繼續幫時力完成改革。
沒想到，廖郁賢在2020年11月被黨中央以涉及人頭黨員案停權1年半，不僅被移送紀律委員會，還被移送檢調處理。針對時代力量的指控，雲林地檢署今年1月偵查終結後，做出不起訴處分，廖郁賢的丈夫、雲科大講師簡端良也為妻子抱不平，痛批時力未審先判、對廖郁賢黨紀處分，用司法迫害廖郁賢，但在司法還她清白後，至今一句道歉也沒有。
今年6月，時力陸續宣布各區民代參選人名單，廖郁賢透露，時力不僅要收走他們雲林縣黨部的資源，還要在同選區派出地方派系二代和她競選，黨祕書長白卿芬甚至請人傳話告訴她，現在她已沒有黨籍，形同被迫退黨，反控黨中央沒有程序正義。
與黨中央對抗2年多，廖郁賢終於在今日發出退黨聲明，宣告離開時代力量。廖郁賢感謝2018年的時力給了她回鄉服務的契機，那時候還有很多夥伴，想為了公平正義改變台灣而熱血，「當創黨的前輩一一受傷離開，才開始反省、思考政治的意義，與那些因政治而結合的人際關係。」
廖郁賢感嘆，「這幾無論使用什麼辦法都無法與黨中央溝通，為大局忍受屈辱與不堪的對待，還天真的相信黨說的善意成為法院上的被告。」直指高層不在意退黨的警訊，對某些人的偏愛「一步錯步步錯」，用程序正義與理想包裝權力的爭奪、提名，用民主的口號打悲情牌獲取的支持，儼然成為了既得利益者的孕育極權主義的溫床。離開的人要被抹黑成畏罪、政治撈仔，還在努力的人卻從司法追殺到道德謀殺，就連證明清白也得不到一句道歉，「出身雲林農家子弟的阿賢，要被這自詡菁英的人壓迫？」她直言，當連從政的人連自由說話的權利都沒有，只想解決提出問題的人，「這樣的政黨，我很確定不再是台灣社會要的。」
廖郁賢強調，她是雲林的女兒，應該更主動守護雲林，從政以來不怕批判黨中央，必要時還得罪黨核心。然而她親身經歷黨中央藉人頭黨員案來逼退優秀黨內同志，面對各種迫害都挺住沒有退黨，整整2年，「以時代力量之名為雲林鄉親服務，也用盡全力，對得起支持的鄉親、及帶我入黨的前輩們了！現在，也輪到是我退黨的時候了」，她感謝4年來一起奮戰的同志，以及引領她入政黨的前輩，同時也對早就希望她退黨的支持者說聲抱歉，因為個性使然，堅持努力到現在才放手，「對黨內還在努力的同志們，也祝福你們，只能用一句加油來相互勉勵，一路人生，充滿感激。」
