离婚需要把礼金退给男方吗

看情况而定。最高人民法院《关于适用若干问题的解释(二)》第10条规定：“当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：(一)双方未办理结婚登记手续的;(二)双方办理结婚登记手续但确未共同生活的;(三)婚前给付并导致给付人生活困难的。适用前款第(二)、(三)项的规定，应当以双方离婚为条件。