要回孩子的抚养权可以通过协议或诉讼两种方式进行。以下是具体的程序：
协议变更
私下协商：父母双方可以私下协商，并请求法院予以变更抚养权。只要有利于子女身心健康和保障子女合法权益，法院通常会准予变更。
签订协议书：双方达成一致后，可以签订一份书面的变更协议书，并亲自到婚姻登记机关申请离婚登记。
诉讼变更
撰写起诉状：如果对方不同意变更抚养权，可以撰写民事起诉状，并收集相关证据材料，向有管辖权的人民法院立案窗口立案。
缴纳诉讼费用：案件被受理后，法院会发出缴费通知书，按照指示向指定银行缴纳一定比例的诉讼费用，并将银行给予的缴费单据拿到法院换票。
等待开庭：法院会安排开庭时间，并发出开庭传票。原被告需按照传票指示的时间和地点出庭参加诉讼。
出庭应诉：在庭审过程中，双方需陈述自己的诉求和理由，并提供证据支持自己的主张。
等待判决：开完庭后，需等待法院的判决结果。如果对判决结果不服，可以在收到判决结果之日起向中级人民法院上诉。
申请强制执行：判决书生效后，如对方仍不履行抚养义务，可以申请法院强制执行。
建议
提前准备：在决定通过诉讼方式要回抚养权之前，建议先咨询专业律师，了解详细的法律程序和所需材料。
证据收集：诉讼过程中，证据的收集至关重要。需准备能够证明孩子与对方生活不利于其成长的证据，如经济状况、生活环境、教育程度等。
尊重孩子意愿：如果孩子已满十周岁，法院在判决抚养权时会尊重孩子的意愿。
通过以上程序，可以依法维护自己的抚养权。