《爸爸》的故事靈感來自2010年香港15歲思覺失調少年殺死母親與妹妹的案件，翁子光在改編劇本時投入甚深，且多次與少年的父親訪談。因兩人聊天內容往往是從父親的角度在思考與感受，也包括這位父親因兒子犯罪痛失妻女後生活的改變與調適，所以翁子光的劇本也由此切入。
翁子光表示，之所以這麼想拍這個劇本，是因為其中有他對於電影美學的想法，「明明是個很震撼的家庭悲劇案件，但我寫的是裡面的溫暖，探索人心的幽微。我想追求一些最簡單的故事，這就是我終極的追求。」
《爸爸》的劇本在2012年完成後，雖賣給那位導演，但翁子光仍心心念念想自己拍，隨著對事情的理解、經歷的人情世故，他每年都會拿出來看、或是修改。「例如電影最後原本兒子沒有出來跟爸爸吃飯，但自從拍完《踏血尋梅》之後，對於表現人性黑暗，比較狠、比較絕的部分，有了改變。可能歲數漸長，覺得是否真的需要那麼慘？沒有希望？所以就想能不能在影片最後給一點溫暖的盼望？」
全片架構不採傳統三幕劇的起承轉合，更多是像一種循環，不斷圍繞這個家庭、不停回顧與感受，而且很多時候時空是跳躍的，而非線性的。翁子光解釋，他在電影剪輯時想到，電影以家庭為結構，從爸爸這個角色的角度出發去找故事，講到妻子、女兒、兒子與家裡的貓咪。「電影特別用每個家人的名字分段，因為家庭最重要的就是每個成員。」
