绿帽子的由来存在多种说法，以下是其中几种较为可信的解释：
古代民间传说
故事传说：在古代中国，有一对夫妻，丈夫经常外出做生意，妻子在家感到孤独，与卖布的好上了。一次丈夫提前回家，差点抓到他们，卖布的只好躲在床下。之后，妻子用绿色布料为丈夫做了一顶帽子，并约定每次丈夫戴这顶帽子外出，就是她与卖布的幽会信号。这个传说流传下来，绿帽子就成了伴侣出轨的代名词。
历史记载
李鳳的故事：据说，在汉武帝王朝时期，数百个家族被解散，儒家思想被单独尊重，儒家的仪式观念推向了正统。李鳳作为县官员，发明了一种用绿色围巾包裹以表示羞辱的做法，这可能是绿帽的最早来源。
元明时期的记载：在元明时期，绿帽子与从事妓院、歌坊等贱业的标志色彩有关。朝廷规定娼妓家中的男人必须戴绿头巾，这一规定加深了绿帽子与耻辱之间的联系。
西方社会的比喻
扑克牌游戏的起源："绿帽子"这个词语最早可以追溯到19世纪的美国，源于一种扑克牌游戏——"Snapdragon"。在游戏中，如果一个人被判定持有特定的牌组合（比如一对A），他们会说"you have the green"，意思是持有绿色牌，即"绿帽子"，暗示这个玩家在某方面取得了优势或胜利。后来，这个短语被用来形容在情感关系中，某位男士被"冤枉"或"暗示"他的伴侣有不忠行为。
综合以上几种说法，绿帽子的由来既有古代民间传说的痕迹，也有历史记载的影子，同时还与西方社会的比喻有关。这个词语现在多用来形容伴侣出轨，隐含的意思是伴侣的一方和其他人相好，另一方就被称做是被戴了绿帽子。