儿子来说，都是难免有些不满的。然而不幸的是，李瑛、李瑶和李琚在私宅中背着人发的这些牢骚，居然也被杨洄给打听到了。他立即加油添醋地向丈母娘汇报了一通。武惠妃听了之后当然更不会放过，转头就对着玄宗哭了个梨花带雨：天啊，太子因为恨您偏心向着我，所以竟然结党想要害了我们母子，甚至还对您也有怨言。这可怎么办啊……玄宗对儿子的情义本就在武惠妃的阴柔武功长期作用下被磨损了十之八九，听了这话更是血冲顶门，震怒之下立即付诸实施，找来宰相商议废黜“太子及同党”的事谊。

    这时候的首辅宰相还是张九龄，他坚决反对，说：“陛下纂嗣鸿业，将三十年，太子已下，常不离深宫，日受圣训。今天下之人，皆庆陛下享国日久，子孙蕃育，不闻有过，陛下奈何以一日之间废弃三子？伏惟陛下思之。且太子国本，难于动摇。昔晋献公惑宠嬖之言，太子申生忧死，国乃大乱。汉武威加六合，受江充巫蛊之事，将祸及太子，遂至城中流血。晋惠帝有贤子为太子，容贾后之谮，以至丧亡。隋文帝取宠妇之言，废太子勇而立晋王广，遂失天下。由此而论之，不可不慎。今太子既长无过，二王又贤，臣待罪左右，敢不详悉。”

    玄宗听张九龄将矛头直指自己心爱的女人，极为不悦，但是又确实找不到儿子们的罪证，只得暂且忍了这口气。不过他绝没把张九龄的话听进耳里。

    同在这一年，张九龄又在几桩人事任免案上反对玄宗的意见，玄宗觉得这个宰相于公于私竟敢都跟自己唱对台戏，简直孰不可忍。终于在开元二十四年（公元736）的十一月发下诏书：侍中裴耀卿为尚书左丞相，中书令张九龄为尚书右丞相，罢知政事。而一向逢迎武惠妃的李林甫则取代了张九龄的地位和权力。

    最大的绊脚石就这样被搬掉了，等待已久的武惠妃开始为废太子做最后的努力。