卫青家族被汉武帝诛杀是在卫青死后15年时发生的。卫青生前战功赫赫，六级匈奴，收复河套，奇袭高阙，以弱胜强击败于漠北击败单于。为家族增添了光彩，同时也埋下了一个巨大的隐患。

汉武帝重用卫青是为了抗衡九卿贵族为主的“外朝”，自从卫子夫成为皇后后，卫家也成了外戚，汉武帝也开始有了防范。再加上霍去病、卫青的先后去世，加之卫子夫年老色衰，失去汉武帝的爱宠，同时外戚家族卫氏于朝廷当中的权势日盛，与朝廷遂产生矛盾。

汉武帝晚年多病，疑其为左右人巫蛊所致，便听信小人谗言，同时也认为卫家势力增长，会危及朝政，便被奸人利用巫蛊之术迷惑，让让本来清白的太子刘据最后不得不起兵反抗，结果失败，太子被杀，卫皇后也被迫自杀，因此卫家等相关人员近十万人被杀。当汉武帝清醒过来以后得知真相时，后痛悔不已，便在最后为了留恋已逝之人，专门修造了几座陵墓将其安葬，以表深深地沉痛和怀恋。