2005年被認為是屏東縣長藍軍最具勝算的一役,蔡豪卻硬是推出時任屏東市民代表的妻子宋麗華加入戰局,並喊出「棄王(進士)保宋(麗華)」,最後使得立委轉戰縣長的王進士以不到2萬票差距飲恨,引爆深藍陣營反彈。
蔡豪歷經此役猶如七傷拳,「傷敵七分,自損三分」,宋麗華落選後,泛藍人士也為此跟蔡豪劃清關係。2007年力霸爆發掏空和超貸案,王又曾棄保潛逃美國,王令麟捲入其中搞得焦頭爛額、自顧不暇,這時蔡豪的財務狀況亦遭影響,如日中天的盛勢轉瞬成江河日下。
一位地方政壇耆老說:「終結蔡豪政治生命的是2008年的立委改選,當時他迎戰實力雄厚的現任立法院長蘇嘉全姪子、民進黨提名的蘇震清,外界盛傳蔡豪已彈盡援絕,但他依然鬥志旺盛,誰知選戰打到最後,就在投票前夕,蔡豪的服務處卻大門深鎖、屋內一片黑暗,透露出大勢已去,更糟的是連任失敗還被查出涉嫌以每票500元買票,最後判刑確定入監服刑。」