没想到，这个素来胆小如鼠的儿子，方当上皇帝便说出这种话来，要是翅膀再硬了点，今后便控制不易了，决不能掉以轻心，心里便起了废掉皇帝之意。

嗣圣元年二月初，武则天骤临朝堂大殿，召集百官群臣，宣布废皇帝为庐陵王，命朝臣将李显架下龙座。

这回李显真个不知所措，结结巴巴的问道：“我……我到底有什幺罪？”武则天瞪了他一眼：“你不是要把江山送给人幺？这就是你的罪！”李显无言以对，没想到这个宝座，才坐了两个月就丢了，还得个待罪之身，形同罪人。

不日，李显夫妇两人便被流放至均州，随即又被迁到房州去，途中一家人只有两辆旧破车，除了身上的衣服外，可谓一无所有。