霍仙姑讨厌吴邪是因为吴邪是吴老狗的孙子。

霍仙姑曾经与吴邪的爷爷吴老狗有过一段暧昧的过去，如果吴老狗没有娶吴邪的奶奶，那么霍仙姑就是吴老狗的夫人了。在吴邪的笔迹中曾说起过爷爷与霍仙姑的事情。

他称：“每次说到霍仙姑，我爷爷都得看看我奶奶在不在附近，因为他和霍仙姑有过一段往事，在家里是敏感话题，必须避开我奶奶，否则她会揪着我爷爷的耳朵骂，老鬼三十几年了，你还惦记着那个狐狸精。”

在《盗墓笔记》中霍仙姑第一次见吴邪的时候就十分仔细地打量，称吴邪与吴老狗有些相似，还骂到这只臭狗真没绝后，并且称笑起来就更像了，果然不是什么好东西。这些话语足以看出吴邪和吴老狗之间的往事并不简单。

不过后来霍仙姑在张家古楼死后，吴邪还将其头颅割下带回，让吴邪与霍家产生了一些小误会，不过当时吴邪如果不这样做，霍仙姑恐怕是整个尸体都会遗留在张家古楼，仔细一比较，吴邪的做法似乎也没有什么不妥。