根据《行政处罚法》的规定， 限制人身自由的行政处罚只能由法律设定。具体来说：
1. 法律可以设定各种行政处罚，其中限制人身自由的行政处罚只能由法律设定。
2. 行政法规可以设定除限制人身自由以外的行政处罚。
3. 尚未制定法律、行政法规的情况下，部门规章和地方政府规章可以设定警告或者一定数量罚款的行政处罚，但不能设定限制人身自由的行政处罚。
4. 国务院或者经国务院授权的省、自治区、直辖市人民政府可以决定一个行政机关行使有关行政机关的行政处罚权，但限制人身自由的行政处罚权只能由公安机关行使。
因此，限制人身自由的行政处罚权专属于法律，并且只有公安机关和其他法律规定的机关有权行使这一权力。