李宗仁在他的回忆录里，对两个人的观感很差，一个是邱清泉，另一个就是杜聿明，他的原话是这么说的： “（这两个人）皆是天子门生，志大言夸，骄纵不堪。东北、华北一连串的失败并未动摇他们无知的骄傲和可怕的自信。”
这话轻蔑之极，几乎把杜聿明整个军事生涯的失败都钉在了“无知”与“骄纵”上。

李宗仁这样评价杜聿明，并不奇怪，对于桂系巨头而言，杜聿明更像是一个符号，一个蒋介石“家天下”的糟糕符号。
在他们看来，杜聿明之所以能爬到徐州“剿总”副司令这样的高位，凭借的并非经天纬地的才干，而是“天子门生”的纯正血统和绝对愚忠。
在东北战场，杜聿明拆分滇军、排挤杂牌，李宗仁对此极为不屑，认为这是典型的“天子门生”做派——志大才疏、心胸狭隘，只会靠着老蒋的宠信弄权，却把国家大事当成儿戏。
桂系另一巨头白崇禧，人称“小诸葛”，战略眼光极高，他最终选择对淮海战役的指挥权“撂挑子”，从另一个侧面反映出，在他眼中，杜聿明这个“救火队长”的资历和威望根本压不住阵脚，这种“你不行”的判断，本身就是一种无声的否定。

比外部的蔑视更值得注意的，是来自国民党内部的刀笔。
蒋介石一度引以为傲的“三才将”，有一种流传甚广的说法是 “庸才是杜聿明” ，这个标签虽然刻薄，却也代表了不少人对杜聿明能力的终极评判。
与杜聿明出自同一部队、曾一同共事的某国民党高级将领就曾说过这样一番话：“杜从未参加过长期剿共，八年抗战除与昆仑关和援缅之役外，其余时间均在昆明，缺乏实战经验，军事素养不够。就统兵才干来说，杜担任军长师长尚能称职，作为大军指挥，则显然不是材料。”
这些内部指责并非空穴来风，杜聿明的指挥风格，被很多人形容为 “优柔寡断”和“私心自用” 。
在淮海战场的生死时刻，他的副参谋长文强就满腹怨言。在文强看来，杜聿明在指挥上过于软弱，被老蒋遥控摆布，毫无前线主将的决断力，而且在最后逃跑时也显得只顾自己、罔顾他人。文强甚至觉得，自己本可以随程潜起义获得新生，却被杜聿明硬拉到淮海战场当陪葬，这份怨恨，生死难平。
而在东北指挥时，他的一些具体操作更让人反感摇头。他曾因一己好恶，轻易撤换经验丰富的师长，换上自己军事素养堪忧的同乡，导致部队战力大减，最终覆灭。最离奇的是，他曾命令五个师、数万大军挤在一条公路上齐头并进，行军长径长达五十公里，建制混乱，一旦遭遇侧击，后果不堪设想。

虽说对国民党内部对杜聿明的这些刻薄评价，多少有事后诸葛亮和甩锅的嫌疑，但有些指控却触及到了杜聿明人格中更为幽暗的角落。
比如说，杜聿明对待滇军的手段，为他招来了深重的非议和恶名。他在东北为了彻底掌控局势，毫不手软地将卢汉部从越南海防带来的整个集团军大卸八块，张冲的军队被调往吉林，安恩溥的部队则被打散在铁路沿线，让集团军总司令孙渡生生当了个光杆司令。这种吃相难看的弄权，不仅让滇军将士视他为仇寇，连被他亲手赶下台的“云南王”龙云，都曾在私下里用最粗鄙的乡音咒骂他：“杜聿明你这个滥狗！”
而他的指挥失当，更在远征军第一次入缅作战失利后的大撤退中达到了悲剧的顶点。他出于对蒋介石的愚忠，违抗史迪威撤往印度的命令，坚持率领数万精锐走入人间地狱野人山，导致非战斗减员远超战场伤亡，尸骨铺满了归国的密林之路。
更令人心寒的是，据那场灾难的亲历者——第五军一位女上尉的回忆，当部队陷入绝境、军纪废弛时，杜聿明在私下里的行径堪称“卑鄙无情”。

在老黑看来，杜聿明有聪明的一面，比如他极具识人之明，是国民党内极少数仅凭“沙发打补丁”这种细节就咬定郭汝瑰是“共谍”的人。
他不愚钝，但是他太愚忠，既没有真正的魄力，也没有真正的力量和勇气，更要命的是，他确实优柔寡断，私心很重，这就决定了他不是一个能真正担当大局的帅才，只是好用，会混罢了。
粟裕大将对杜聿明的指挥水平有过一个一针见血的评价：“他打不了逆风仗。” 这并非说他没有战术能力，而是指他在被束缚手脚、身处绝境的逆风环境中，缺乏那种“将在外君命有所不受”的霸气和担当。
总而言之，在国民党派系林立的高层眼中，杜聿明既是宠臣，也是弃子；既是能吏，也是庸才。这样的人，在复杂环境下，逆境之中，很难服众，当年在淮海战场上，就是明证。
邱清泉在陈官庄被围困时，公然对他上演“逼宫”戏码，假惺惺地说：“你有病，还是离开这里到南京去吧。这里的事情呢，我们这些兵团司令推选一个人来指挥。”这话说白了，就是嫌杜聿明碍事，想把他挤走，自己来当这个头。
杜聿明是什么反应呢，他坐在掩体里一声不吭，等邱清泉走了才气急败坏地拍桌子：“你听到没有？他是向我将军哪！”
在国民党阵营中，还有一种更扎心的对比：有人拿他和同为黄埔系的王耀武作比较，认为王耀武无论是人情练达还是战略眼光，都高出杜聿明一截——王耀武能当封疆大吏，而杜聿明充其量只是一个合格的参谋人才，硬把他推上统帅千军万马的帅位，本身就是一场灾难。