项羽在攻占咸阳后说过一句话：“富贵不归故乡，如衣锦夜行，谁知之者! ”，慢慢的就有了衣锦当还乡的说法。

项羽在攻占咸阳后，便放火烧了阿房宫。并与刘邦约定以鸿沟为界，划分天下。当项羽想要回江东时，有人建议他就在秦地建都称王。项羽一方面想当帝王，一方面也想在江东父老乡亲的面前扬名显威，当人人羡慕的大英雄。几番纠结后，项羽便对士兵说出了“富贵不归故乡，如衣锦夜行，谁知之者”的话。于是，项羽遵守与刘邦的约定，带着军队回到了江东。

后人根据这个故事延伸出了衣锦还乡一词，泛指富贵以后穿着华丽的衣服回到故乡，也说衣锦荣归。