唐高祖武德九年六月初四(公元626年7月2日)，李世民发动玄武门政变，杀了太子李建成，解除了老爸李渊的禁卫军武装。武德九年(626年)9月3日，高祖颁布制书，将皇帝位传给太子李世民，以太上皇自居，仍然住在大内皇宫正殿太极殿不走。

贞观二年秋天长安久旱无雨，中书舍人李百药上了一道奏折，长安大旱是因为太上皇内宫女太多，阴气太重，把阳气都吸干了，所以才会下雨。李世民立即勒令大量太上皇身边的宫女失业，回家开始新的生活，一夜之间李渊的太极宫人去楼空，变得空荡荡的，阴森极了。

史书记载：“高祖以弘义宫有山林胜景，雅好之。乃徙居之，改名大安宫。”意思就是李渊离开了皇宫，搬家了，搬到了儿子李世民原来的旧居。这地方是几年前李渊给儿子修的，当时心里不待见这个儿子，舍不得花钱，修的比较寒碜。

造化弄人，谁知道几年后，自己成了这里的主人。早知道是这样，当初就修得排场一点。可是事情不仅仅是让李渊搬家那么简单，这小子做的太绝了，赶跑了自己身边的宫女，还把眼光瞄上了自己的老臣和老伙伴裴寂。

李渊当年起兵反隋的时候，裴寂又是送粮草，又是筹集军费，还提供不少装备，进献了不少美女。李渊攻破长安，也有裴寂的功劳授相府长史，所以在唐朝建立后，李渊对裴寂大力提拔，官拜右仆射，册封魏国公。李渊甚至从不直呼裴寂的名字而称其旧官为“裴监”。

李世民外出，招呼自己亲信长孙无忌和太上皇的亲信裴寂一道坐车，也不忘挖苦裴寂一下：“以公有佐命之勋，无忌亦宣力于朕，同载参乘，非公而谁？”意思就是说长孙无忌是我的栋梁，你是太上皇的干将啊。

不久之后，李世民对父亲的老友下手了，裴寂被免职打回老家。裴寂却不想走，他已经了无牵挂，只是舍不得自己的老伙伴李渊。于是就舍下老脸，想留在京城。

“司空裴寂尝闻其言﹐辛未﹐寂坐免官﹐遣还乡里。寂请留京师﹐上数之曰:“计公勋庸﹐安得至此!直以恩泽为群臣第一。”——李世民这话就很不客气，等于啪啪打脸了：“你不是靠功劳而是靠关系得到这么高的待遇的，别不识抬举。”

就这样李渊唯一的老战友也被打回老家，折腾来折腾去，一命呜呼了。

裴寂去世的时候，李渊66岁。由于大门不出二门不迈，李渊的身体已经非常糟糕，老朋友裴寂的去世，又让李渊有点兔死狐悲的感觉，身体更加糟糕。

裴寂去世仅仅三年，李渊也随他而去。如果裴寂在身边，李渊不敢说多活几年，但晚年一定会非常幸福，可惜儿子连这个快乐也不给。

一切的一切，完全是因为当年没有立他为太子，才让儿子耿耿于怀，念念不忘。都以为太上皇的日子是优哉游哉的，其中的甘苦也只有李渊自己知道。