公元371年，谢安升任侍中（宰相），开始进入了中央政权的核心。这一年对东晋朝廷来说是十分关键的一年。手握重兵、正在北伐的桓温本想立功中原以提高自己的声望，没想到被前燕名将慕容垂打得惨败。为了重立威名，桓温废了旧皇帝，又立了新皇帝。

此时的谢安洞悉老上司桓温的野心，准备尽忠匡扶朝廷，竭力不让桓温篡位的图谋得逞。

咸安二年（372），即位不到一年的简文帝就在愤怒和恐惧中死去，太子司马曜即位，是为孝武帝。原来满心期望简文帝会把皇位禅让给自己的桓温大失所望，他于宁康元年（373）二月率军来到建康城外，准备伺机篡夺皇位。

当时桓温在房间周围预先埋伏了甲兵，下令召见谢安和另一大臣王坦之。建康城中人心惶惶，人们纷纷传说桓温要大开杀戒，王坦之非常害怕，找谢安商量应对的办法。谢安神情坦然地说：“晋朝的存亡，就在我们这一行了。”

然后，谢安就和王坦之一起出城来到桓温营帐。当时王坦之紧张得汗流浃背，汗水把衣衫都沾湿了，连朝见时用的手板也拿颠倒了。谢安却从容不迫地入座，然后微笑著问桓温说：“我听说正直的诸侯都把人马驻扎在边境，来保卫国家，桓公你怎么却把我大晋的将士藏在墙后面呢？”

桓温尴尬地回答说：“我的身分和地位特殊，在这里不能不做点防备。”

随后桓温命令预伏的士兵退下。他们聊了聊其他的事，桓温终于没敢下手。当时王坦之以文采风流和谢安并称于东晋，而这次之后，人们才知道谢安的镇定和才能远胜过王坦之。

桓温在退兵回荆州的路上得了重病，可他并没有断绝篡位的野心，又上表要求朝廷赐予他九锡的礼遇。谢安知道不能和桓温硬顶，就反复拖延赐予九锡的文书，一直拖到桓温病死，加九锡的事情也就不了了之。

桓温死后，谢安被任命为尚书僕射兼吏部尚书，总揽东晋的朝政。为了缓和矛盾、稳定政局，谢安并没有趁桓温病死的机会对桓氏集团下手，他仍然信任和重用桓温的弟弟桓冲，让桓冲担任都督徐、豫、兖、青、扬五州诸军事和徐州刺史，负责镇守京口（今江苏镇江）。

桓冲也深明大义，心甘情愿地为朝廷镇守四方，将相的和睦稳定了东晋的政局，人们都把谢安比作安定东晋的王导，而谢安的文采风流似乎更胜王导一筹。

谢安理顺了东晋政权的内部纷争后，开始把注意力转移到北方强大起来的前秦政权。当时前秦屡次骚扰东晋边境，东晋朝廷开始招募有才干的将领。谢安知道自己的侄儿谢玄有大将之才，就向朝廷推荐了谢玄。

当时有人嘲讽谢安任人唯亲，而谢安的政敌郗超却感歎说：“谢安能不怕讥讽，举贤不避亲，真是有古人的遗风啊。”

谢玄果然没有辜负谢安的推荐，他担任广陵太守后，招募江淮子弟和北方流民组建了北府军，成为东晋最精锐的武装力量。此后东晋朝廷安定下来，谢安功不可没。