需要退赃的案件主要包括以下几类：
非法吸收公众存款罪：
根据《刑法》第一百七十六条及相关司法解释，非法吸收公众存款罪的涉案财物应予以追缴或责令退赔，受害人的合法财产应及时返还。
诈骗罪：
诈骗案件涉及赃款赃物由公安机关负责追缴，如果财产确实是属于被害人的，就会退还给被害人。
经济犯罪案件：
经济犯罪案件中被害人必须通过追赃退赔程序获得救济，如另行提起民事诉讼或提起刑附民诉讼，法院不予受理。
伤害类及财产损害类案件：
这些案件通过刑事附带民事诉讼程序解决，涉及赃款赃物的追缴和退赔。
退赃的程序
公安机关直接返还：
若公安机关已依法扣留并控制了涉案赃款，可直接将款项归还给受害人。这一过程需经过拍照、鉴定、估价等程序，并在案卷中注明返还理由，确保资金原路返回。
法院判决生效后返还：
若案件进入刑事审判阶段，法院将在判决后根据具体情况，将涉案赃款返还给受害人。这一过程通常涉及更复杂的法律程序和财务审核。
设立专项退赔账户：
部分情况下，为确保资金安全、有序退赔，相关部门会设立专项退赔账户。存款人需提供相关证明，经审核无误后，通过该账户进行退赔。这种方式有助于规范资金流动，避免二次损失。
民事诉讼途径：
受害人还有权另行发起民事诉讼，请求被告方归还所涉及的款项。这一途径适用于公安机关未直接扣押赃款或法院判决生效后仍有未返还资金的情况。
退赃的最佳时机
侦查阶段：
如果罪行不重，可以办理取保候审，不需要在看守所羁押。即使不能办取保候审，公诉的时候检方也可以提出从轻处罚的建议。因此，在侦查阶段退赃较好。
审查起诉阶段：
在这个阶段，证据已经固定，律师可以通过阅卷了解涉案金额，帮助当事人争取最少的违法所得金额。此外，检察机关拥有量刑建议权，法院一般也会采纳检察院的量刑建议。因此，在审查起诉阶段退赃有利于律师和检察官进行量刑协商，帮助当事人争取好的处罚结果。
法院审判阶段：
在这一阶段，可以直接和法官进行沟通，将赃款、赃物或者折现的金额直接给到法院，也可以直接得到法院的认可，并可以在此基础上做一个协商，可能减轻处罚、从宽处罚、免予刑事处罚、单处罚金、判处缓刑、死刑降低为死缓等。
建议
尽早退赃：在案件的不同阶段尽早退赃，尤其是侦查和审查起诉阶段，有助于争取更好的法律后果。
如实交代：犯罪嫌疑人、被告人应主动、如实交代非法所得的全部金额、来源及去向，这是退赃退赔的前提和基础。
积极筹措资金：涉案人员应尽快将非法所得的资金及收益足额退还，退赃方式可以是直接退还现金，也可以通过变卖非法所得的财产进行退还。
与办案机关沟通：家属或律师可以直接联系办案人员，提出退赃的想法，了解下一步处置措施，以便更顺利地进行退赃。