绿帽子的说法起源于中国古代，与古代的风俗和规定密切相关。以下是绿帽子说法的几个主要来源：
古代社会风俗：
在古代中国，婚姻被视为重要的事情，但社会风气相对开放，男性可以有三妻四妾。如果一个男人的妻子红杏出墙，这个男人就会被称为“戴绿帽子”，这个说法与古代的“绿巾”有关。绿巾是低贱的象征，因此戴绿帽子的男人会受到社会的轻视。
元朝时期的规定：
在元朝时期，朝廷有规定，若娼妓的家属或亲戚是男性，他们必须佩戴绿色头巾。路人看到佩戴这种绿色头巾的人，便知道这家人有女性从事娼妓工作。因此，“绿帽子”这一说法就流传下来，成为了“头顶一片绿”的象征。
唐朝的法律：
唐朝时期，李封县官规定若官吏有罪，可不加杖罚，但须令头裹绿头巾以羞辱，且期满后才能解下。这大概是“绿帽”的最早来源之一。
颜色象征意义：
在古代，绿色被视为低贱的颜色，常用于贱民和婢女的服饰。因此，绿头巾和绿帽子成为了耻辱的象征，一旦男人被戴上绿帽子，就会被人看不起。
民间传说：
有一个流传甚广的故事，讲述了一个妻子为了掩饰自己的外遇，给丈夫制作了一顶绿色帽子，并约定当丈夫戴上这顶帽子时，情人可以前来相会。这个传说进一步巩固了“绿帽子”这一说法的象征意义。
综上所述，绿帽子的说法是由古代的社会风俗、法律规定和民间传说共同作用形成的，它最初是低贱和耻辱的象征，后来演变成了形容婚姻中妻子不忠的代名词。