有地方人士透露，洪輝雄率眾痛毆林姓烈嶼鄉民後不久，林又在烈嶼鄉碼頭被人持鐵管打成重傷，還因此住進加護病房，鄉親們議論紛紛，懷疑洪因遭記過調職，回頭報復，但金門縣警局調查，洪在案發前便申請赴中國旅遊，當天不在場，也沒有證據顯示他教唆犯案，最後不了了之。
當地民眾對此憤憤不平，認為洪輝雄身為警察，卻三番兩次犯下暴力案件，跟黑道沒兩樣，嚴重影響警譽，每次出事，雖然都被記過，卻還是繼續留在金門從警，質疑警方因地方政治的壓力，不敢將他汰除。金門民眾Ａ先生說：「對比航警局員警陳以倫，只是因為發文炫耀每天打混摸魚、過得很爽，就被記2大過免職、取消警大研究所入學資格，洪的懲處未免也太輕了吧！」
警界人士透露，洪輝雄現在任職的烏坵駐在所位處偏僻，只有1名所長和2名警員，往來金門的船班半個月一班，堪稱「離島中的離島」，加上勤務簡單，居民人少又單純，算是涼缺。
對於民眾的質疑，金門縣警局表示，洪輝雄2件鬥毆案發生後，警方都有火速懲處，雖然他的表現確實違法脫序，但都是單一行為，也報請警政署同意備查在案，把他調到烏坵，是希望他能靜思其過。警方也強調，洪案與航警案屬性不同，懲處無法量化比較，且陳以倫當時雖被航警局提報記2大過免職，但後來警政署沒有核可，最後是1大過，目前仍在職。
