行政违法由什么部门追责

法院。
1、行政机关若发现自己做出的具体行政行为违法或者不当，应该做出决定撤销原具体行政行为。
2、上级行政机关发现下级做出的具体行政有误需通知做出机关予以撤销，做出机关不予撤销的，上级机关依职权进行撤销。
3、法院在受理非诉行政执行案件时，发现生效的行政决定或裁决存在违法事项的，应作出不予立案通知书，以立案在审查期限内的，作出不予执行裁定书，并送达申请人。发现已经立案执行的生效的行政决定或裁决存在违法事项的，停止执行。通知申请人撤回执行申请或依法裁定不予执行。法院还可就此案向做出具体行政行为的机关或上一级机关发出司法建议。
《行政处罚法》
第五十五条行政机关实施行政处罚，有下列情形之一的，由上级行政机关或者有关部门责令改正，可以对直接负责的主管人员和其他直接责任人员依法给予行政处分：
（一）没有法定的行政处罚依据的；
（二）擅自改变行政处罚种类、幅度的；
（三）违反法定的行政处罚程序的；
（四）违反本法第十八条关于委托处罚的规定的。