霍去病是卫子夫的亲外甥，霍去病的母亲卫少儿是平阳公主的女奴，由于身份寒微，霍去病出生以后一点也不受宠。后来姨妈卫子夫得到汉武帝的宠幸以后，卫家的地位也提升了许多，因此霍去病也得到了父亲的重视。

霍去病一出生就不被父亲认可，直到姨妈卫子夫入宫，受到汉武帝刘彻的宠爱后，因此霍去病在家里的地位才得到了提高，关于他是私生子的事情也不再有人提起。

霍去病从小就很聪明、懂事，因为姨妈卫子夫的关系，霍去病在很小的时候就入宫了，和皇宫的皇子们一起学习。霍去病只要有时间，就会去看望卫子夫，时间久了霍去病也得到了汉武帝的注意。

霍去病长大以后，在军事方面很有才华，汉武帝允许他跟随舅舅卫青一起抗击匈奴。霍去病虽然年纪不大，但他很有作战头脑，在许多战役中都立下了不小的功劳，最后也得到了汉武帝的器重。