“以吏为师”的制度存在以下缺点：
钳制思想：
以吏为师的制度钳制了人们的思想，不利于思想文化的创新。这种制度下，人们的思想被限制在官吏的教导之下，缺乏自由探索和创新的空间。
培养忠实奴仆：
这种制度为封建统治者培养了忠实的奴仆，而不是有独立思考能力的公民。官吏被视为知识的唯一来源，导致民众对官吏的依赖和服从，而非基于理性和知识的信任。
阻碍交流：
以吏为师导致官吏高高在上、墨守陈规、唯上是从，阻碍了官吏和群众的交流。这种制度使得官吏与民众之间的沟通变得单向和僵化，不利于社会的互动和发展。
反智倾向：
以吏为师实质上是一种“废书去教”的反智倾向。它蔑视和对抗民智，与老庄思想中的“绝智”“弃智”不同，后者希望回到无智无识的淳朴状态，而反智则是从本质上的倒退。
思想统一与个性吞噬：
以吏为师的皇权专制主义本质表明，思想统一其实是对个性思想的吞噬。这种制度下，个人的思想和创造力受到压制，不利于社会的多样性和进步。
脱离群众：
在当今社会，少数党员干部受封建社会“以吏为师”思想遗毒的影响，存在接待群众来访时态度冷淡、下基层了解群众疾苦时走过场、解决群众问题时绕圈子等问题，严重影响了党在群众中的威信。
综上所述，“以吏为师”的制度在历史上虽然起到了一定的统治作用，但其弊端也显而易见，特别是在思想控制、交流阻碍、反智倾向和对个性思想的吞噬等方面。这些缺点在现代社会中被视为需要深刻反思和避免的。