出身教育世家，王靈安的父親在衛理女中教中文，母親在師大附中教英文，卻教出了國小起就不喜歡上學的他。為什麼？因為「那個老師太壞了。」他笑著回憶憤恨往事，「他是我父親江蘇鹽城同鄉，但2人際遇不同，他後來去當兵，我爸卻被政府接到後方讀大學，1947年被師範大學聘來台灣當助教。」引人眼紅的結果，是父債子償，「他看我爸混得不錯，就開始整我，整到什麼程度呢？可以一看你進學校就把你整個書包甩在地上，讓你在地上撿。」一個高中都沒畢業的人可以當老師？父親和他同仇敵愾，一日見他帶傷，告訴他，「老師再打你就回家。」
父親用言教鼓勵他反體制，母親則是用身教。為了「上帝」從中國逃到台灣的她，進師大附中教書，在這認識了王爸爸，生了5個兒子，王靈安排行老四。但穩定的人生並未長久維持。1949年四六學潮爆發，學生被抓走，身為助教的王父出面抗議，被開除了。就讀師大附中期間「把禮堂上的國父照片扯下來摔地上」闖了大禍的二哥，則影響了母親教職，她索性帶著《聖經》到美國依親，為孩子鋪路，此後像螞蟻搬家，一個個去了美國。
白人社會排擠 帶癌母回台
除了最想去美國的二哥，最後沒去成。遭退學後，二哥去當兵，在部隊裡被霸凌，剃他光頭關他禁閉，還是王父找人救出來的。王靈安回憶，那時二哥放假，會帶他去賣血，賣完就去買唱片、看電影。二哥太想出國了，聽說當橋牌國手能出國，就去橋藝中心比賽。兄弟倆也去幫人家打蠟賺錢，結果1979年，二哥被打蠟的機器電死了。王靈安用「生錯時代」形容二哥，「倒楣生在這個島這段時間，一輩子困在畸形的時空裡。」
生錯時代的豈只二哥。「三哥更可惜，念仁愛國中時，他被分到要考建中的資優班，不服管教，結果被教務主任拖到小房間打，那叫聲像野獸一樣，我聽了心裡真像淌血。」但三哥終究去了美國，即使變成無業遊民，也不回來。「我是覺得，至少他自由了。」
倒是母親和王靈安回來了。去美國前，母親叫王靈安去上調酒課，拿張調酒證，方便拿工作證抵美，一個單純念頭就左右了他一生。到了美國，雖想讀書，但一來得降級，二來語言不夠好，就先去酒吧打工。只是，台灣人到美國，很快發現自己像移工，星期天聚一起到中國城吃三寶飯，根本打不進白人社會。「當然紐約很好玩，隨便走錯一個地鐵站出口，看到就是另一個世界。但那世界不是我們發明的，也不是給我們用的。」再後來，母親得了癌症，對孩子說：「還是在自己家裡好，待不慣就回去吧。」王靈安於是帶著母親回台灣。
一個人的老後 不想中樂透
回台後，沒學歷，就業困難，他回頭做出國前做過的翻譯A片工作，也和出國期間持續通信的同公司女朋友結婚，人生眼見如此了，一個機會從天而降，房東段宜康的弟弟跟著他學調酒，問要不要一起開店，他成為「南方安逸」老闆，用他獨特的魅力吸引許多人上門。新經典總編輯葉美瑤說：「我沒看過這樣的酒保，去他店裡，和他聊天，會覺得你屬於那裡，讓我想起深夜食堂的Master。」寶瓶文化總編輯朱亞君則說：「與其說他是文筆很好的調酒師，不如說他是作家，只是剛好很會調酒。」
