《第一爐香》開鏡時，彭于晏健碩的肌肉與馬思純因前作《加油，你是最棒的》增胖尚未瘦下來的身材遭網友批評，原著形容混血男主角喬琪喬蒼白幼稚叛逆，是個不折不扣的渣男；而女主角葛薇龍「眼睛長而媚」，氣質古典，也與馬思純大相逕庭，２人甚至被譏是「車夫」與「虎妞」，從電影開鏡一直嫌到電影上映。
果然電影上映後，就算幕後團隊有王安憶、杜可風、和田惠美、阪本龍一等大咖，也救不了票房的頹勢，連編劇王安憶都因票房告急而說：「我欠大家一個罵」「就算要罵，也請先進戲院看過再來罵」，而許鞍華則是在一個對談中表示「以前沒有網路，不知道網友的力量，如果早知道網友的力量這麼大，當初就會換角」，更說「可是我沒有意識到，除了老闆跟自己跟創作團隊，還要問準網友才能」，雖然她似乎帶點自嘲的語氣，網友卻無法認同她的說法，認為這番話像是把票房失利的原因都推給了演員，甚至還拖出網友來背鍋。
許鞍華並認為，馬思純頂著巨大的壓力，但她又很好強堅持演出，面對壓力也睡不好，「來開工當然比較恍惚，然後她還是盡力把戲演好，可是對她的演出是有影響的，可是她是主演，如果影響到一個主演，可以想像這對劇組傷害有多大。」但由於外界一直有馬思純、彭于晏釋出資方屬意的人選傳聞，馬思純更被說成是靠其演員阿姨蔣雯麗的關係才會當上女主角，許鞍華也替她澄清不是因為「個人」關係，「我自己被罵沒關係，她可是被罵了整整2年。」
《第一爐香》的失利成為許鞍華生涯中評分最低的一部片，她過去也曾改編張愛玲作品《半生緣》，找來黎明、吳倩蓮、梅艷芳演出，當時的選角沒有受到那麼多外界影響，香港的張愛玲書迷也沒那麼多，算是賺進了口碑；但這次剛好相反，「原著黨」的檢視嚴厲，碰上選角繪聲繪影的內幕，評價與票房才會一敗塗地。
