賭博罪應該在什麼時候退贓

可以在公安機關立案偵查、檢察院審查起訴、法院依法審理階段退贓。犯罪分子違法所得的一切財物，應當予以追繳或者責令退賠；對被害人的合法財產，應當及時返還。
《刑法》第三百零三條
以營利為目的，聚眾賭博或者以賭博為業的，處三年以下有期徒刑、拘役或者管制，並處罰金。
開設賭場的，處五年以下有期徒刑、拘役或者管制，並處罰金；情節嚴重的，處五年以上十年以下有期徒刑，並處罰金。