土林的形成主要是由 第四系湖相、河流相的粘土、砂、砾石的松散堆积物在干燥气候环境中，受季节性雨水的淋蚀、冲刷而成。这类堆积物产状平缓，在地表流水的侵蚀下，被切割得千沟万壑。在某些层位中，由于铁质胶结物富集，风化后形成质地坚硬的铁帽，使其下部的粘土及砂砾层得到保护，雨水的淋蚀力减弱，从而形成如塔如柱的土林，尤如古城堡的遗迹，拟人拟物的形象，千姿百态，栩栩如生。
地质专家称，土林的形成最远可追溯到8000万年到一亿年的冰河时期。在冰水沉积期，冰水流动带来杂物，形成沙粒砾层。沙粒砾层成岩硬化后，受新地壳运动影响，出现裂口或裂缝（地质学上称龟裂）。地表水（主要是雨水）沿着裂缝向下渗漏、渗透。日积月累裂口因冲刷而渐渐扩大加深，最后分裂成一个个土墩、土柱成为今天的土林。
土林项部的沙粒岩，系胶质钙结，不易被风化、冲刷，所以多呈蘑菇状。土林一般分布于湖相沉积的小盆地，以云南元谋盆地的班果、歪堡中的最为典型，此外，云南江川和南涧、四川西昌、甘肃天水也有分布。
综上所述，土林的形成是多种地质过程共同作用的结果，包括冰河时期的沉积、新地壳运动产生的裂隙、以及长期的地表水淋蚀和冲刷。这些自然力量共同塑造了土林这一独特的地貌景观。