投标保证金的退还时间主要依据《中华人民共和国招标投标法实施条例》和相关法规来确定。以下是具体的退还情形和时间：
投标人撤回投标文件
如果投标人在投标截止时间前主动撤回投标文件，招标人应在收到投标人书面撤回通知之日起5日内退还投标保证金。
合同签订后
招标人最迟应当在书面合同签订后5日内向中标人和未中标的投标人退还投标保证金及银行同期存款利息。
未中标情况
如果招标活动按正常程序完成，投标人未中标，且在投标过程中没有违反招标文件规定的行为，招标人应在确定中标人后，向未中标的投标人退还投标保证金。
招标终止情况
如果因不可抗力、项目计划调整等原因，招标人终止了招标项目，应及时退还所收取的投标保证金及银行同期存款利息。
综上所述，投标保证金的具体退还时间如下：
投标人在投标截止时间前撤回投标文件的，招标人应在5日内退还。
招标人应在书面合同签订后5日内退还所有投标保证金及银行同期存款利息，无论是中标人还是未中标的投标人。
建议在投标过程中，投标人应密切关注招标文件的退还规定，并在必要时与招标人进行沟通，以确保投标保证金能够按时退还。