谨慎，没有大错误，并有一些朝臣积极保护，屡次转危为安，太子地位才算保住了。因此，他早对玄宗积怨在心。肃宗被立为太子后，做皇帝的愿望日益强烈。后来，在他儿子李倓和宦官李辅国等的支持下，在灵武称帝。玄宗从四川归来后，在兴庆宫的所作所为，早已引起肃宗的狐疑：玄宗是不是想恢复帝位？他想采取相应的对策，又怕有人说他不孝，心里非常着急。正在此时，李辅国向他献了一计。

    李辅国知道肃宗的复杂心理，想立奇功来巩固肃宗对他的宠爱。他对肃宗说：“上皇住在兴庆宫，天天和外人来往，而且陈玄礼、高力士密谋对陛下不利。如今六军将士都是灵武功臣，对此都坐卧不安。”肃宗假装哭着道：“圣皇仁慈，哪会有别的想法呢？”李辅国就说：“即使上皇没有别的想法，怎奈有班小人天天在耳边怂恿。陛下是天下的主人，应当为社稷着想，防患于未然。哪能限于匹夫的孝顺！再说兴庆宫和里巷相连，围墙也低矮，不适合上皇居住。太极宫森严，请他搬到那里去住，这样能杜绝小人在他身边说三道四，上皇能安享晚年，陛下有时也可以去探望，岂不更好。”李辅国的这番话正中肃宗下怀，便默许了。上元元年（公元760年）七月的一天，李辅国传旨，请玄宗游览太极宫，但当玄宗从兴庆宫走到睿武门时，预先埋伏好的士兵突然冲了过来，把他拥簇到了太极宫甘露殿，就此住下。肃宗对玄宗还是不放心，又把高力士流放到巫州（今湖南黔阳县），命令陈玄礼退休，只给玄宗留下几十名卫士，而且都是老弱病残。

    处在这样的逆境中，玄宗更觉寂寞、凄凉，郁郁寡欢，连饭也吃不进了，弄得憔悴不堪。上元三年四月五日，玄宗死在太极宫神龙殿，时年77岁。死后葬泰陵，谥为“大圣大明孝皇帝”，庙号“玄宗”。