房屋买卖买家没交定金

我是房屋买卖卖家，当时签订购买协议买家交了20万定金。现在由于买家出现问题我们是否可以不退定金？

合同纠纷：需要按照合同约定处理，违约的可按照下列规定处理，协商不成，可诉讼处理。《合同法》：第一百零七条当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。　　第一百零八条当事人一方明确表示或者以自己的行为表明不履行合同义务的，对方可以在履行期限届满之前要求其承担违约责任。