从多个方面来看， 小米在手机业务上面临的挑战可能比荣耀更大。以下是一些关键原因：
品牌影响力和市场认知
荣耀虽然已经从华为剥离，但仍然受到华为品牌的残余影响。很多人将荣耀视为华为的替代品，这种认知使得荣耀在消费者心中占有较高的地位。
线下市场布局
荣耀在剥离华为后，继承了大量的线下经销商资源，这使得其在线下市场的销售能力非常强。荣耀的门店遍布各地，线下销售占比高，经销商的积极性和利润空间也大。
相比之下，小米的线下门店数量相对较少，尽管小米也在积极扩展线下渠道，但线下经销商对小米模式的认可度不高，更倾向于销售利润更高的OV产品。
产品力和品控
荣耀在离开华为后，依然保持了较高的产品力和用户体验。荣耀Magic5等产品的推出，展示了其在技术和设计上的实力。
小米在近期的小米12和小米13系列上有所改善，但在之前的型号中，品控问题较为突出，如断触、烧屏和发烫等，这导致用户评价褒贬两极分化严重。
市场竞争
小米在高端市场面临苹果和三星的竞争，而在同级别市场，荣耀和OV也对其构成强大压力。荣耀正在往高端方向发展，这将进一步加剧与小米的竞争。
综上所述，尽管荣耀和小米都在手机市场上有各自的优势和挑战，但从目前的情况来看，小米在品牌影响力、线下市场布局、产品力和市场竞争等方面面临的困难可能更大一些。