绿帽子的象征意义源自其颜色——绿色。在传统观念中，绿色常与低贱、卑微的身份相联系，因此当一个男人遭遇妻子不忠时，他会被形容为“被戴了绿帽子”，这一说法带有强烈的贬义和羞辱色彩。
回顾中国历史上十大著名的“绿帽子”事件
自古以来，中国男性普遍对“绿帽子”这一称号感到极度厌恶和恐惧。关于“绿帽子”这一称谓的演变历史，充满了诸多引人入胜的传奇色彩。其发展历程跨越了长达两千年的时间，“乌纱帽”作为官员的标志，其起源可追溯至南朝刘宋时期（亦有说法认为其流行始于东晋时期）。令人费解的是，这两种帽子最终都在明太祖朱元璋的手中完成了形态上的最终确立，并赋予了它们特殊的象征意义。
【秦汉】时期，法律体系规定罪犯需穿着特殊的服饰，称为“赭衣”，其颜色为赤褐色。历史学家班固在《汉书·刑法志》中记载：“奸邪并生，赭衣塞路”，这表明至少在汉代，“赭衣”已经成为罪犯的代名词。进入唐宋时期，社会观念认为碧青绿等颜色是卑贱之人的服饰。唐代地方官员对于犯罪之人，有时会选择不施加杖罚，而是让他们佩戴碧绿色的头巾以示羞辱（《闻见录》记载），并根据情节的严重程度决定佩戴的时间长短，满一定天数后才可解除。北宋科学家沈括在《梦溪笔谈》中写道：“苏州有不逞子弟，纱帽下著青巾，孙伯纯知州判云：”巾帽用青，屠沽何异？””这说明在唐宋时期，人们普遍认为穿着碧绿青等颜色的服装是身份低贱的表现。
自【元代】起，碧绿青等颜色的服装被限定为“娼妓”、“乐人”所穿。《元典章》明确规定：“娼妓穿皂衫，戴角巾儿；娼妓家长并亲属男子，裹青头巾。”明太祖朱元璋于洪武三年（1370年）颁布诏令规定：“教坊司乐艺着卍字顶巾，系灯线褡膊，乐妓明角冠皂褙子，不许与民妻同。”同时他还规定：“教坊司伶人常服绿色巾，以别士庶人服”。朱元璋明确命令娼妓家的男子必须头戴绿巾，腰系红褡膊，足穿带毛猪皮鞋，不允许在街道中间行走，只能在左右两边“靠边走”。这样一来，人们一看到戴“绿帽子”的人，就能知道其家中那位是“青楼一族”，戴“绿帽子”也因此成为某男子的妻女卖淫或妻子私下“偷汉子”的俗称。据明朝郎瑛所撰的笔记《七修类稿》载，相传于春秋时期，依靠妻女卖淫收入为生的男子以绿头巾裹头作为识别。而绿色在中国古代被视为低贱者的用色，《汉书．东方朔传》提到馆陶公主刘嫖的情夫董偃，头戴绿帻，颜师古的注是：「绿帻，贱人之服也。」。唐朝诗人李白在《古风》中也有「绿帻谁家子，卖珠轻薄儿」之句，可见当时绿色为低贱者所用的颜色。
至于把绿色视为低贱者用色的原因，有一种说法是与龟有关。绿色为龟之颜色，而古人误以为雌龟要与蛇交配才可以繁殖，甚至以为龟没有雄性，如明朝长乐人谢肇浙所着的笔记《五杂俎》就提到龟不能交配，所以纵容雌龟与蛇交配来繁殖后代。不少古书如《列子》、《说文解字》、《博物志》等均有类似说法。因此把妻子与他人通奸的男子称为「龟」。《七修类稿》与唐朝封演所撰的笔记《封氏见闻录》均有提到，唐朝李封为延陵令时，手下犯罪，他就要他们戴绿头巾作为羞辱。但当时仍未有把「绿头巾」定型成妻子跟别人通奸的意思，只是象徵身份低贱。而郎瑛则于《七修类稿》中说出自己的见解，认为以绿头巾为羞辱，是因为绿头巾是春秋时期妓女之夫的首服。
把绿头巾定义为妻子通奸应在元朝之后。据《元典章》载，当时规定娼妓家长和男性亲属要裹青头巾」，而青、绿二色相近。此例一直沿用至明朝，《明史·舆服志》载，明太祖朱元璋在洪武三年下诏规定教坊乐人和伶人要戴青巾，而乐人、伶人之妻通常都是乐妓、女伶，虽然以卖艺为主，「绿帽子」一词则是清以后的用法，易实甫作《王之春赋》就有「帽儿改绿，顶子飞红」之句，描绘了当时官场的性贿赂。于是「绿头巾」或「绿帽子」就成为妻子与人通奸的男子之代称了，这种用法亦流传至今。