在《西游记》中，孙悟空一共回了三次花果山，具体情节如下：
第一次：
孙悟空被唐僧救出后，因打死六个强盗，唐僧不满其做事方法将他赶走，他本欲回花果山，但到了东海，在龙王的劝说下又回到了唐僧身边，此次严格意义上未真正回到花果山。
第二次：
三打白骨精后，孙悟空三打白骨精，被唐僧埋怨滥杀无辜，一气之下返回花果山。后来唐僧在宝象国遇难，猪八戒用激将法将孙悟空请回。
第三次：
真假美猴王时，孙悟空为救唐僧打死几个强盗，被唐僧逐走，之后六耳猕猴假扮孙悟空打了唐僧并抢走行李，沙僧去花果山讨要行李被假悟空打跑，后遇到真悟空说明情况，孙悟空气愤地回花果山抓六耳猕猴，最终在如来佛祖的帮助下识破并打死假悟空，孙悟空重回取经队伍。
综上所述，孙悟空在《西游记》中一共回了三次花果山。