上週藍白立委聯手通過國定假日修法，被綠營批評程序過於倉促，還有罷團揚言如果罷掉藍委就要修法改回來，林沛祥近日在政論節目批評罷團「不是正常人」，指罷團的價值觀很極端，甚至直言他認為罷團就是一些社會邊緣人的集合體，「這些社會邊緣人需要人家的關懷，需要有些他們繼續撐下去的價值跟信仰，所以他們聚集在一起。」
《三立新聞》報導，罷免林沛祥領銜人陳青逸反擊表示，林沛祥侮辱的不是只有基隆人而已，而是侮辱了全國眾多志工的努力和付出，林沛祥的發言正巧說了他為什麼他是一個不恰當的立法委員。
被國民黨反制發動罷免的民進黨基隆市議員張之豪則指出，「基隆現在有9個人因為罷免張之豪而被收押禁見、交保候傳」，分別是基隆市前民政處長張淵翔、國民黨基隆市黨部主委吳國勝等黨工或市府官員，他反問，「這9個人，都是罷免張之豪的涉案者，請問他們也都是社會邊緣人嗎？」張之豪更反酸林沛祥目前是新任的國民黨基隆市黨部主委，正是這一大票涉案人的領袖，「所以，請問您到底是『top 1%』，還是『社會邊緣人』？」
林沛祥這段話也引發各地罷團志工不滿，例如發起罷免桃園邱若華的團體「桃六刪邱」就轉發林沛祥的影片表示：「沒想到這麼多藍委會害怕『社會邊緣人』？」奉勸委員不要小看邊緣人的力量，犧牲親友聚會、飯局與玩樂的我們，工時是用24小時算的；該區的桃園市議員許家睿也開酸：「國民黨被社會邊緣人搞到30+罷免過二階，真的是可以就地解散算了。」
