只不過當時跟他合作的女星楊丞琳、林依晨紛紛上位，賀軍翔卻大不如前，拍了本全裸寫真集一時成為新聞焦點，但作品聲勢平平；就連年紀差不多的男星如阮經天、張孝全、明道也紛紛轉型，成就也比他高。
不少網媒替賀軍翔剖析，是他後來挑劇本挑得不好，而且老是演「高富帥」沒突破，隨著年紀增長（賀軍翔今年33歲），小鮮肉紛紛竄出頭來，很容易就被環境所淘汰。
另外賀軍翔的經紀約也是紛紛擾擾，2010年他用臉書休了自己的經紀人吳姿儀，宣布與她中止合約關係；他還哭喊自己「遇人不淑」，成語用法也讓人哭笑不得。（根據教育部國語辭典解釋，遇人不淑出自詩經，意為女子誤嫁了不好的丈夫）。
到了2014年，賀軍翔和後來經紀公司華研約滿，也沒續約，外傳他對華研幫他挑選的作品並不滿意，收視也不如預期，當時除了《美樂。加油》收視較好，其他平平；到中國拍電視劇時檔期也卡到台灣的上課時間，讓劇組頗有微詞，他和公司鬧得也不愉快。
網媒曾對此下出如此毒舌註解：「明星輝煌的時光可能很短，一瞬間無數人喜歡你，但是有另外的新星出來時，擱在你身上的目光就會移開了。賀軍翔就這樣慢慢的產量不及以前，顏值不及以前，開始過氣。」
