潘安是中国古代四大美男子之首，在潘安那个时期，他有很多“粉丝”，以至于每次外出，他的粉丝都会用“掷果盈车”的热情来表达对潘安的喜爱和支持。这样的美男子，身边自然是少不了爱慕者，即便是三妻四妾，也是在常理之中的事情。然而据史料记载，潘安一生好像只有一个妻子，那就是杨容姬。潘安不仅仅是个有着倾世容颜的大帅哥，而且还是个宠老婆的男人。
潘安本名潘岳，因为他字安仁，所以后世习惯简称他为潘安。他跟其他徒有外表而没有内涵的人不同，潘安不光有好看的皮囊，而且还有惊艳的才华。我们现在常说，不怕帅哥帅，就怕帅哥唱情歌，潘安大概就是这样一位一生只愿意对一人唱情歌的美男子了。
据史料记载，潘安一生好像只娶了一位妻子，她就是扬州刺史荥阳杨肇之女杨容姬。潘安家跟杨容姬家里是世交，也就是说两个人是青梅竹马，他们自幼就定有婚约，后来潘安娶了杨容姬之后，就全心全意对杨容姬好，不管外面有多少觊觎他美貌与才华的女子，潘安都不为所动。
以当时潘安的名望和身份，娶个三妻四妾不是问题，而且只要他愿意，世间美丽优秀的女子任由他挑选，然而潘安却并没有这样做。
潘安对妻子杨容姬用情极深，两人一起生活了二十多年，后来妻子亡故了，潘安也没有再续弦另娶他人。他为了纪念妻子，还专门写了几首悼亡诗，其中有一句诗是这么写的，叫做“如彼游川鱼，比目中路析”，潘安把他跟妻子比喻成比目鱼，如今妻子先走一步，就像是比目鱼的分崩离析，由此可见，潘安也是个痴情之人。
