卫子夫是霍去病的姨妈，霍去病的母亲是卫子夫的姐姐，大司马大将军卫青是霍去病的舅舅。霍去病出生于西汉建元元年（前140年），是平阳侯府的女奴卫少儿与平阳县小吏霍仲孺的私生子。霍仲孺当差期满，回到平阳县，与在长安平阳公主府的卫少儿失去联系。因此，霍去病一直不知道自己的父亲是谁，直到成为骠骑将军后，才与父亲相认。

卫子夫上有一兄二姐，长兄卫长君 ，长姐卫君孺（卫孺），次姐卫少儿，少儿有子霍去病。卫子夫又有同母弟三人，即卫青、卫步、卫广。