唐朝的宦官崛起于唐玄宗时期，司马光就说过，“宦官之祸，始于明皇”。在唐玄宗时期，最得宠的宦官莫过于高力士，他服侍李隆基数十年，深受皇帝的信任。高力士虽然得宠，但却没做过什么坏事，甚至还支持李亨成为太子。然而，李亨在成为皇帝后，却恩将仇报，将高力士流放，这到底是怎么回事呢？

开元二十五年（737年）四月，唐玄宗听信武惠妃的谗言，将太子李瑛、鄂王李瑶、光王李琚赐死。这样一来，唐朝的储位出现空虚。唐玄宗虽然子嗣众多，但他也拿不定主意。宰相李林甫极力推荐武惠妃所生的寿王李瑁，但李瑁排行第十八，也不是嫡子，前面还有不少同样是庶出的兄长，立他实在是难以服众。

按照次序的话，应该立忠王李璵（即唐肃宗李亨），他排行第三，“年长，且仁孝恭谨，又好学”。唐玄宗为储君之事犹豫不决，一年多也没有确定下来，“常忽忽不乐，寝膳为之减”。此时，高力士站了出来，他极力支持忠王李璵，对唐玄宗说道：“大家（唐代对皇帝的称呼）何必如此虚劳圣心，但推长而立，谁敢复争！”

然而到了上元元年（760年）八月，已经成为皇帝的唐肃宗李亨却下旨，免去高力士的官职，将其流放到黔中道的巫州。临行前，高力士请求再见唐玄宗一面，“臣当死已久，天子哀怜至今日，愿一见陛下颜色，死不恨。”然而，高力士的这个请求却遭到了拒绝。

在巫州期间，高力士见其当地荠菜很多却无人食用，感伤不已，于是写下了一首诗。

直到两年后，高力士因遇到大赦，才有机会返回长安。当高力士途经朗州时，从旁人口中得知得知唐玄宗已经病故，他“北望号恸，呕血而卒”。

此时唐肃宗也已经驾崩，继承皇位的是唐代宗，他对高力士的印象很好，有“保护先朝”之功，当即下旨赠高力士为扬州大都督，并且陪葬泰陵（唐玄宗的陵寝）。

高力士虽然帮过唐肃宗，但他却因忠于唐玄宗而遭到流放。安史之乱爆发后，唐玄宗逃到蜀地，并没有退位的想法，可是来到灵武的太子李亨却擅自登基。出于平叛形势的考虑，唐玄宗承认了这一结果，但从内心来说他还是不满意的。对此，唐肃宗心知肚明，他虽然以盛大的仪式将父皇迎回长安，但也担心父皇再来一次政变。

作为唐玄宗的亲信，高力士自然也受到了“重点关注”，何况他当年在朝中亲信众多。上元元年（760年），唐肃宗的亲信宦官李辅国对唐肃宗进言，“上皇居兴庆宫，日与外人交通，陈玄礼、高力士谋不利于陛下。”此时的唐肃宗也已经患病，他最终还是听信了李辅国的话，将高力士流放到了巫州。