买房时卖方违约中介费怎么办

中介费不退还，可以要求卖方承担违约责任。卖方违约与中介服务机构无关，除非双方有合同约定，需要按照合同约定处理，否则卖方违约的只能向买方要求赔偿这部分损失。
《民法典》第五百七十七条 当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。