程序违法根据不同的情况和主体，需要承担相应的法律责任，具体包括：
行政处罚
如果程序违法并没有造成严重的后果，行政处罚决定可能被撤销，并且上级行政机关应当对公安部门作出的违法的行政处罚责令改正，同时对直接责任人员依法给予行政处分。如果给行政处罚相对人造成损失，相对人还可以申请国家赔偿。
违反法定的行政处罚程序的，由上级行政机关或者有关部门责令改正，可以对直接负责的主管人员和其他直接责任人员依法给予行政处分，造成损害的，应当依法承担赔偿责任。
刑事责任
法院程序违法可能会因为犯了民事、行政枉法裁判罪而需要承担刑事责任。若程序违法并没有造成严重的后果，法官可能受到降职、被处分等处罚。
如果公安机关和人民警察行使职权时违法侵犯公民、法人和其他组织合法权益，造成损害的，受害人有权依照法律规定取得国家赔偿，并且当事人有权向其上级机关、人民检察院投诉举报，根据具体情节予以行政处分；构成犯罪的，依法追究刑事责任。
行政处分
对于行政机关及其工作人员的轻微程序违法，如果对公民权利的侵害轻微或没有影响，则在衡量司法效率的基础上不予追究。但如果造成损害，应当依法承担赔偿责任。
违反法定程序的行为侵犯了公民的诉讼权利，情节严重的，相关责任人可能会受到行政处分。
司法救济
如果一审法院程序违法，当事人可以依法提出上诉请求，第二审人民法院在审理上诉案件后，如果发现原判决严重违反法定程序，应当裁定撤销原判决，发回原审人民法院重审。
综上所述，程序违法的法律责任视具体情况而定，可能包括行政处罚、刑事责任、行政处分以及司法救济等多种方式。具体责任的承担需要根据违法的性质、情节以及对权利侵害的程度等因素进行综合考量。