李孝恭遭人诬告谋反后，被召还京师调查，最后因无证据而被赦免，但还是被卸去军权。唐高宗时期，李孝恭改封为河间郡王，成为闲散之人。

此后，李孝恭开始了宗室子弟的生活。李孝恭原本性情就奢侈豪爽，现在又不用理会政事，便整日花天酒地，又喜好歌舞，后院中的歌姬舞女多达100多人。

李孝恭过着这样的生活长达14年，常年酗酒加上早年间的征战，晚年时身体出现问题。贞观14年，李孝恭因疾病突然离世。