简文帝司马昱的形象一直被扭曲得厉害，特别是近几十年。
首先谈谈殷浩被废后，司马昱就被桓温架空的观点。这种说法可能是因为《晋书桓温传》言，“自此（殷浩被废后）内外大权一归温矣。”事实上，殷浩被废一事的影响没有那么大。当时，司马昱以王述接任殷浩为扬州刺史，豫州和徐兖都督是忠于朝廷的谢尚和荀羡。
桓温废立后，也根本没架空司马昱。桓温本来打算北伐前燕成功后求九锡，但是他打了败仗，又陷入和司马昱的交着状态。
中枢的大臣忠于司马昱，扬州军也还在其手中。桓温自身又北伐战败，名实顿减，根本无力架空司马昱。
司马昱即位后，桓温请杀武陵王（以试探司马昱），未成功，桓温控制不了司马昱。《建康实录》载：“既而，温寻又谋新蔡王晃反，与晞连结殷涓及太宰长史庾籍等同谋，收付廷尉。奏请诛二王，帝对之泣，不许。温固执之，帝手诏答温曰：‘若晋祚灵长，公便宜奉行前诏。如其大运去矣，请避贤路。温览之，流汗变色，不复敢言。帝先历宰三世，温素敬惮。及帝即位，温欲上事自陈，帝引见，对之悲泣，温惧无色。及行武陵王等诛不果，深恐。帝知而安慰之，寻大赦天下，以温为丞相，温不受。辛酉，温旋白石，因上镇姑孰……既还故孰，帝使侍中王坦之数征为相，辞不受。”
“及行武陵王等诛不果，深恐。”他怕被司马昱控制起来，就离开建康。司马昱去世后，他才谋划发动政治篡位。
《建康实录》：“二月，大司马桓温来朝，有簒夺之志，顿兵新亭，欲诛执政而废帝（孝武），召侍中王坦之、吏部尚书谢安，将害之。”
南朝檀道鸾的史书《续晋阳秋》载：“帝性温深，雅有局镇。尝与太宰、武陵王晞，桓温同乘至板桥，温密敕令，无因而鸣角鼓噪，部伍并皆惊驰。温佯为骇异，而晞大震惊，急求下车，帝举止自若，音颜色不变，温每以此称其德量。故论者谓服惮之深，若假帝修年，则温篡逆之图绝矣。”
而到了唐朝时，由于新时期的需要，把桓温定性成乱臣贼子，通过史料裁剪，渲染桓温的权势。
《晋书桓温传》：“废主以立威，杀人以逞欲，曾弗知宝命不可以求得，神器不可以力征。岂不悖哉！岂不悖哉！斯宝斧铖之所宜加，人神之所同弃……”
《晋书帝纪第九》：“温既仗文武之任，屡建大功，加以废立，威振内外。帝虽处尊位，拱默守道而已，常惧废黜。先是，荧惑入太微，寻而海西废。及帝登阼，荧惑又入太微，帝甚恶焉。时中书郎郗超在直，帝乃引入……帝谓之曰：‘致意尊公，家国之事，遂至于此！由吾不能以道匡卫，愧叹之深，言何能喻。因咏庾阐诗云‘志士痛朝危，忠臣哀主辱，遂泣下沾襟。帝虽神识恬畅，而无济世大略，故谢安称为惠帝之流，清谈差胜耳。沙门支道林尝言‘会稽有远体而无远神。谢灵运迹其行事，亦以为赧献之辈云。”
南朝是这样。
刘宋时刘谦之《晋纪》中载谢安为简文帝所作的谥议：“谨案《谥法》：一德不懈曰‘简，道德博闻曰‘文。易简而天下之理得，观乎人文，化成天下。仪之景行，犹有仿佛。宜尊号曰‘太宗，谥曰‘简文。”
《南史梁元本纪》：“（梁元）常自比诸葛亮、桓温，惟缵许之。”
《搜神后记》写“温方谋问鼎，闻之怅然。故以戒惧，终守臣节。”