唐军
　首先，二十万之说是号称：
敦煌王承寀自回纥使还，拜宗正卿；纳回纥公主为妃，回纥封为叶护，持四节，与回纥叶护太子率兵四千助国讨贼。叶护入见，宴赐加等。丁亥，元帅广平王统朔方、安西、回纥、南蛮、大食之众二十万，东向讨贼。《旧唐书肃宗纪》
元帅广平王领朔方蕃汉兵号二十万来收长安，出辞之日，百僚致谒于朝堂。百僚拜，答拜，辞亦如之《旧唐书颜真卿传》

更多的史料取十五万说，不过有的把四千回纥骑兵算入，有的不算
九月，从元帅广平王率蕃汉之师十五万进收长安。回纥遣叶护太子领四千骑助国讨贼，子仪与叶护宴狎修好，相与誓平国难，相得甚好。《旧唐书郭子仪传》
俄从元帅广平王率蕃、汉兵十五万收长安。《新唐书郭子仪传》
郭子仪以回纥兵精，劝上益征其兵以击贼。怀仁可汗遣其子叶护及将军帝德等将精兵四千馀人来至凤翔。上引见叶护，宴劳赐赉，惟其所欲。丁亥，元帅广平王俶将朔方等军及回纥、西域之众十五万，号二十万，发凤翔。　　《资治通鉴卷二百二十》

当然，我对这个数字也深表疑惑，因为目前来看实在凑不出这么多人。
在灵宝之战中，哥舒翰一举把河西、陇右主力，部分朔方军，新募部队送了个干净。
壬辰，上下制欲亲征，其朔方、河西、陇右兵留守城堡之外，皆赴行营，令节度使自将之，期二十日毕集《资治通鉴卷二百十七》
安禄山反，翰为元帅，奏思礼赴军，玄宗曰：“河、陇精锐，悉在潼关，吐蕃有衅，唯倚思礼耳。”《新唐书王思礼传》
结果：
乾祐遣同罗精骑自南山过，出官军之后击之，官军首尾骇乱，不知所备，于是大败；或弃甲窜匿山谷，或相挤排入河溺死，嚣声振天地，贼乘胜蹙之。后军见前军败，皆自溃，河北军望之亦溃，瞬息间，两岸皆空。翰独与麾下百馀骑走，自首阳山西渡河入关。关外先为三堑，皆广二丈，深丈，人马坠其中，须臾而满；馀众践之以度，士卒得入关者才八千馀人。《资治通鉴卷二百十八》

此后，唐军以回援的郭子仪部五万人作为关中地区的主力，但在与叛军的交手中，其损失极为惨重。
八月，子仪与李光弼率步骑五万至自河北。时朝廷初立，兵众寡弱，虽得牧马，军容缺然。及子仪、光弼全师赴行在，军声遂振，兴复之势，民有望焉。《旧唐书郭子仪传》

首先在陈涛斜，房琯把除了朔方军以外的部队送个精光
辛丑，二军遇贼将安守忠于咸阳之陈涛斜。琯效古法，用车战，以牛车二千乘，马步夹之；贼顺风鼓噪，牛皆震骇。贼纵火焚之，人畜大乱，官军死伤者四万馀人，存者数千而已。癸卯，琯自以南军战，又败，杨希文、刘贵哲皆降于贼。《资治通鉴卷二百十九》
肃宗大阅六军，南趋关辅，至彭原郡，宰相房琯请兵万人，自为统帅以讨贼，帝素重琯，许之。兵及陈涛，为贼所败，丧师殆尽。方事讨除，而军半殪，唯倚朔方军为根本。《旧唐书郭子仪传》
接着是永丰仓，仆固怀恩损兵万余
贼将安守忠、李归仁自京率众来援，苦战二日，官军败绩。怀恩退至渭水，无舟楫，抱马以渡，存者仅半，乃奔归子仪于河东，整其余众。《旧唐书仆固怀恩传》
安庆绪遣兵救潼关，郭旰等大败，死者万余人。李韶光、王祚战死，仆固怀恩抱马首浮渡渭水，退保河东。《资治通鉴卷二百一十九》
最后是清渠，安守忠再破郭子仪，王思礼
子仪与王思礼军合于西渭桥，进屯潏西。安守忠、李归仁军于京城西清渠。相守七日，官军不进。五月，癸丑，守忠伪遁，子仪悉师逐之。贼以骁骑九千为长蛇阵，官军击之，首尾为两翼，夹击官军，官军大溃。判官韩液、监军孙知古皆为贼所擒，军资器械尽弃之。子仪退保武功，中外戒严。《资治通鉴卷二百一十九》

以下是对香积寺参战部队的整理
【1】朔方军：安史之乱结束时还有3万人，9千马匹，香积寺时应该多于此数，但也不大可能超过刚到时的5万
开元、天宝中，战士十万，战马三万，才敌一隅。自先皇帝龙飞灵武，战士从陛下收复两京，东西南北，曾无宁岁，中年以仆固之役，又经耗散，人亡三分之二，比于天宝中有十分之一。今吐蕃充斥，势强十倍，兼河陇之地，杂羌浑之众，每岁来窥近郊。以朔方减十倍之军，当吐蕃加十倍之骑，欲求制胜，岂易为力？入近内地，称四节度，每将盈万，每贼兼乘数四。臣所统将士不当贼四分之一，所有征马不当贼百分之二。《旧唐书郭子仪传》

【2】安西北庭军：1.2万，也有更少的说法
上命河西节度副使李嗣业将兵五千赴行在……上又征兵于安西，行军司马李栖筠发精兵七千人。《资治通鉴卷二百一十八》
肃宗即位于灵武，征安西兵节度使梁宰……乃出步骑五千，令嗣业统赴朔方。《旧唐书段秀实传》
“迁安西封常清节度府判官。常清被召，表摄监察御史，为行军司马。肃宗驻灵武，发安西兵，栖筠料精卒七千赴难。《新唐书李栖筠传》
公自二庭统甲士三千赴凤翔行在。《马璘神道碑》

【3】关中军：后来合并了上党节度，使军队达到3.8万人（三万步兵，八千骑兵），王思礼在香积寺时大概率到不了此数
与子仪等九节度围安庆绪于相州，思礼领关内及潞府行营步卒三万、马军八千。《旧唐书王思礼传》
总关中潞州行营兵三万、骑八千，与子仪围贼相州。《新唐书王思礼传》

【4】于阗军：5000人
安禄山反，胜使弟曜摄国事，身率兵五千赴难。国人固留胜，胜以少女为质而行。肃宗嘉之，拜特进，兼殿中监。《新唐书尉迟胜传》
【5】陇右、河西军：数量不明，但考虑到灵宝的损失，应该不会太多
上至凤翔旬日，陇右、河西、安西、西域之兵皆会，江、淮庸调亦至洋川、汉中，上自散关通表成都，信使骆驿。《资治通鉴卷二百一十八》
【6】南诏，大食军：数量不明，但问题是且不论当时南诏，阿拉伯会不会给敌对的唐朝派出援军（我怀疑只是招募了一些当地的雇佣兵），考虑到路程遥远，也不可能派出太多
丁亥，元帅广平王统朔方、安西、回纥、南蛮、大食之众二十万，东向讨贼。《旧唐书肃宗纪》
【7】回纥：四千骑兵
回纥遣叶护太子领四千骑助国讨贼，子仪与叶护宴狎修好，相与誓平国难，相得甚好。《旧唐书郭子仪传》

我在相当宽松的高估中，按朔方5万，关中3.8万，安西1.2万加上于阗，回纥的九千人，这才10.9万，怎么看用剩下的都凑不出4.1万人。
事实上，唯一可能拉出十五万的办法是大量募兵。论惟贞在不到十天里募兵数万。如果唐朝下定决心这么暴兵，是能凑出十五万的，但质量就一言难尽了。说白了，十五万人和全部都是精锐唐军你只能选一个。
肃宗在灵武，以卫尉少卿募兵绥、银，阅旬，众数万。从还凤翔，迁光禄卿，为元帅前锋讨击。《新唐书论惟贞传》

在所有史料中对于叛军数量记载都为十万，但之前在关中出战的叛军远少于此数。
【1】河东之战：2万骑兵，损失1.3万
辛未，安守忠将骑二万寇河东，郭子仪击走之，斩首八千级，捕虏五千人。《资治通鉴卷二百一十九》
【2】五千骑兵损失殆尽
庚寅，李归仁以铁骑五千邀之于三原北，子仪使其将仆固怀恩、王仲升、浑释之、李若幽等伏兵击之于白渠留运桥，杀伤略尽，归仁游水而逸。《资治通鉴卷二百一十九》
【3】清渠之战：9千骑兵
贼有骁锐九千，为长蛇阵，守忠谓安太清曰：“吾为蛇首，子为蛇尾。”遂令领四千人从延平门路入，命太清四千人从金光路入，以一千趣平川，当官军而横击。贼首尾之阵翼张，前后奔冲。我师不虞贼之暴至，遂大溃。判官、殿中侍御史韩液，监军使内侍孙知古皆为贼生得，军资器械并委弃之。 《册府元龟卷四百四十三》

支持

叛军如果真如你所说的才那么丁点人的话，就不会出城野战了

香积寺兵力巨水，唐军真有十五万，那外族兵比官兵都多