要防止被爬虫软件顶上，可以采取以下几种策略：
基于程序本身的防爬措施
使用JavaScript动态生成页面内容，使得爬虫难以抓取到真实的数据。
通过复杂的逻辑和动态内容加载，增加爬虫解析页面的难度。
基于服务器的防爬措施
使用Nginx等服务器软件，通过配置`http_user_agent`来识别和拦截常见的爬虫。
利用iptables和shell脚本对访问日志进行分析，对异常访问进行限制或封禁。
设置IP黑名单和白名单，限制特定IP地址的访问。
通过验证码（CAPTCHA）来区分人类用户和爬虫。
基于应用层的防爬措施
在应用层面进行用户身份验证，如登录验证，确保只有授权用户才能访问敏感数据。
对访问行为进行分析，识别异常访问模式并进行限制。
使用第三方工具和服务
利用爬虫管理产品，如蔚可云的BotGuard，通过交互验证、大数据分析和合法性验证等策略来检测和阻断恶意爬虫。
综合策略
结合多种防爬措施，如同时使用IP封禁、User-Agent检测和验证码，以提高防爬效果。
请注意，这些方法并非绝对安全，爬虫开发者可能会不断寻找新的方法来绕过这些防护措施。因此，保持警惕并定期更新防爬策略是至关重要的。同时，也要确保这些防护措施不会对正常用户造成不便。