爱新觉罗绵亿的母亲是五阿哥永琪的侧福晋索绰罗氏，虽然五阿哥永琪有六个孩子，但是最终活下来的只有绵亿，五阿哥去世之后绵亿继承了他的爵位。

索绰罗氏的父亲是左都御史观保，虽然索绰罗氏是侧福晋，但是在当时应该是非常得宠的，生育能力很强，五阿哥永琪一共有6个儿子，其中4个是索绰罗氏所生，不过只有绵亿长大成人。

永琪去世的时候，年仅二十五岁，父亲去世的时候，绵亿才两岁，所以在史料记载中：绵亿幼时失孤，身体也较为孱弱，但是他继承了他父亲的聪慧，熟读经史，并且因为他非常的像永琪，对于自己爱子遗留下的血脉，乾隆也很是重视。

虽然小小年纪就失去了父亲，但是绵亿和永琪一样聪慧过人，才华高绝，而永琪和嘉庆帝关系不错，嘉庆帝又只年长绵亿四岁，所以小的时候两人曾相伴读书，情谊很深。

之后因为一场农民起义军进攻京城，当时的嘉庆并没有在京城，并且一直对于回不回非常的犹豫，于是绵亿请求皇帝回去，嘉庆听从了他的建议，及时回京，自此，绵亿受到嘉庆的重视，宠眷日渥。