潘安与妻子杨氏十二岁订婚，终身相爱，杨氏逝世后，他终身没有再娶，历史上也留下了“潘杨之好”的千古佳话。

潘安的妻子杨氏闺名杨榕姬，是西晋名儒杨擎的女儿。杨擎作为潘安父亲的朋友和潘安父亲小聚，见到十二岁的潘安，非常赏识这个少年，就与潘安父亲定下了这门亲事。婚后两人举案齐眉，一起生活了二十多年，夫妻感情非常深厚。但也许是造化弄人，杨榕姬不幸早亡，潘安对此悲痛不已，一生也没有续娶，这放在男子三妻四妾都是正常现象的古代可以说是非常少见的事情了，由此也可见潘安的用情至深。

众所周知，潘安不仅有出众的相貌还是个出色的文学家，而他的悼亡诗是中国文学史上悼亡题材的先河之作，而他的悼亡诗范畴仅限于悼亡他这位结发妻子——杨榕姬。三首《悼亡诗》也是中国最早的哀悼亡妻之作。潘安在这些诗里写着：“如彼游川鱼，比目中路析”，意思就是夫妻两个人一人先去了，就好像比目鱼分开了一样，大家都知道比目鱼是象征夫妻恩爱的鱼，潘安用分开的比目鱼来比喻自己失去妻子的痛苦和不舍，更显情真意切。