变更离婚协议书必须起诉吗

不是必须要去起诉。双方想要更改离婚协议，可以通过协商变更离婚协议，不需要有关部门同意，也不需要到一个机关办理，只要双方经过协商重新达成协议，重新签订一份新协议或者补充协议即具法律效力。
《民法典》 第一千零八十五条 离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。前款规定的协议或者判决，不妨碍子女在必要时向父母任何一方提出超过协议或者判决原定数额的合理要求。