以金钱或者其他财物贿赂选民或者代表是 严重违反选举法的行为，会受到法律的严厉惩处。具体来说：
破坏选举行为 ：根据《全国人民代表大会和地方各级人民代表大会选举法》的规定，以金钱或者其他财物贿赂选民或者代表，妨害选民和代表自由行使选举权和被选举权的，属于破坏选举行为。法律责任
治安管理处罚：
如果该行为违反治安管理规定的，依法给予治安管理处罚。
刑事责任：如果该行为构成犯罪的，依法追究刑事责任。例如，刘某在乡人大代表选举过程中以贿赂等手段妨害选民自由行使选举权，情节严重，最终法院以破坏选举罪判处其有期徒刑1年。
当选无效：
以金钱或者其他财物贿赂选民或者代表当选的，其当选无效。例如，2016年9月13日，十二届常委会第二十三次会议表决通过了关于辽宁省人大选举产生的部分十二届代表当选无效的报告，确定45名代表因拉票贿选当选无效。
举报与查处：
如果发现选举中存在贿选行为，可以向逐级政府及人民代表大会举报，如果情节严重，可以直接向检察机关或公安机关举报。对于违反治安管理处罚的，依法给予治安处罚；对于构成犯罪的，依法追究刑事责任。
综上所述，以金钱或者其他财物贿赂选民或者代表的行为不仅会破坏选举的公正性，还会受到法律的严厉惩处，包括治安管理处罚和刑事责任。建议严格遵守选举法，维护选举的公正性和民主制度的尊严。