该成语故事源自唐代大诗人李白的《蜀道难》。在这首诗中，所使用的数字“一”和“万”并非实数，而是表示少和多。
在唐玄宗天宝年间，即公元742至744年，李白身安时期，正值唐朝从积极有为的治理时期过渡到只顾享乐、不理朝政的衰落时期。当时的朝政，，各种社会矛盾尖锐。李白因亲身经历了这一盛衰变化，并以其特有的敏感察觉到潜在的危机。在一次送别友人入蜀之际，他创作了《蜀道难》，寄托了深深的忧患与预示。
整首诗可大致分为四个段落。首段以历史传闻和神话故事为主线，生动地描绘了蜀道的艰难险阻；次段则以作者的个人经历为背景，进一步描绘了蜀山的壮丽与险峻；第三段中，“剑阁峥嵘而崔嵬”一句尤为引人注目，通过山势的险峻象征隐忧；最后四句则构成第四段，预示着蜀地将有之兆，并劝友人及早“还家”。
诗的第三段特别值得一提的是：“剑阁峥嵘而崔嵬，一夫当关，万夫莫开。”这里的“剑阁”是现今四川省剑阁县北的地名；“峥嵘”和“崔嵬”形容山势高峻；而“一夫”即一人，把守关口之义，“莫开”则表示关口难以开启。若守关者非亲信可靠之人，他们若心生叛乱，便会变成如豺狼、猛虎、长蛇般的怪物，磨牙吮血，如麻。
随着时间的推移，“一夫当关，万夫莫开”这一诗句逐渐演变成成语，用来形容地势的险峻与易于防守。