李康生搬家後不久,頸部舊疾復發,蔡明亮陪著去看病,甚至遠赴香港求醫,一路以影像記錄。有一次蔡明亮拍攝李康生歪著脖子,從尖沙嘴走到彌敦道的過程,因為李康生得扶著頭走路,如果不扶、脖子就是歪的。但拍著拍著發現,「香港那麼多人都扶著頭走路,因為用手機。當那些人經過李康生旁邊,就會覺得到底是誰生病?」
蔡明亮說,搬到新店山上,逐漸認識這個山頭,重回大自然,發現此地就是他的片廠,也把李康生罹病與治療過程放進《家在蘭若寺》。片中最早只有陸弈靜飾演的媽媽是鬼、尹馨是每晚來的一個魂魄、陳湘琪則是一個徘徊遊蕩來找李康生又找不到的女人,但後來決定讓尹馨變魚精、陳湘琪變鬼。
蔡明亮想像中的鬼是和人一樣,但人看不到;而鬼很悲傷,看到人但也無法做什麼,「因為所有的鬼都是被困住,否則為何要叫孤魂野鬼?影片裡的鬼也是被困在廢墟,走進去會聽到嘆息聲或哭泣,這些鬼有很多冤屈、不開心。」他透露,《家在蘭若寺》每個鏡頭都很長,都在慢慢看人的生活、慢慢體會他們的心情、狀態,情感複雜又很悲傷、無奈、溫暖。