潘世偉2014年7月離職後，在臉書發文大爆料：「公務體系內結黨營私真的很可怕，這些人還都是高階公務員，他們知道預算編列與使用的方式，如何拿捏隱藏性的資源，作為自己的小金庫，然後利用自己的人，把程序合理化，當然最後就是可以達到美其名為公，實際上卻是為私的目的，本人其實就是因為擋人財路罷了。」
為了找出「小金庫」真相，朝野立委都在立法院要求接任的勞動部長陳雄文說明清楚。陳雄文曾在立法院衛環委員會公開坦承，勞動部檢討過，潘所指的「小金庫」就是就業安定基金。
去年蔡政府上任後，首任勞動部長郭芳煜在接受媒體專訪時表示：「不覺得那（就安基金）是金庫，預算有外部學者專家組成的委員會，也有立院審查，很透明。」
事實上，就安基金近年用途很多，包括退還關廠工人本金利息、補償國道收費員自救會、外勞在台生子遭棄養的補助款等，都是由就安基金支應。
根據今年6月就安基金會議紀錄，該基金餘額截至3月底止，共有269億 6,516萬4,000元。
