1934年末，黄埔一期生刘畴西率红10军团在浙赣边遭到黄埔同期同学俞济时的“围剿”。1935年1月刘畴西、方志敏被捕。俞济时想都没想要给老同学开点后门，当衣衫褴褛、冻得发抖的刘畴西被带到身穿将军大氅、烤着炭火的俞济时面前时，俞济时优越感顿生，连寒暄都没有，挥挥手，就让人把刘畴西押走了。同为同学的黄维后来听说此事，对俞济时大为不满，当面损他：“那么冷，你也该叫老同学吃顿好饭，穿件棉袄嘛！大家同学一场，你也太狠心了！”

杜聿明率远征军出兵缅甸，战败回国，黄维负责对他的部队进行点检。杜知道黄的秉性，执法如山，但希望他能够开恩给自己少报些损失，留点儿面子，故宴请黄维。宴会上果然气氛沉重，杜的幕僚有人为活跃气氛，便没话找话，和黄维搭讪，不外乎什么天气很好，风调雨顺啊之类的废话。谁知黄说：“我老家江西正发水灾，哪里来的风调雨顺？”杜部下听他口气，以为他要索贿，便问黄维是否需要些款子给家乡？结果黄维大怒。杜长叹退席，知道这书呆子手里绝不会对自己留情。

1904年2月28日，黄维出生于江西贵溪盛源乡农家，其父在其七岁时早逝，由其伯父将其带大。早年毕业于县立第一高等小学，后因经济拮据考入鹅湖师范，并以优异成绩毕业回乡任小学教员。在此期间认识我党早期的大人物方志敏。

1924年，因在学校宣传共产主义思想与当地乡绅交恶而被迫弃职离乡。经方志敏安排，找到中共江西地下省委负责人赵醒依，由他做为介绍人进入黄埔军校一期第二队，和周士第、郑洞国、俞济时、桂永清等成为同班同学。

毕业后在黄埔三期入伍生总队任中尉区队长。14年2月10日率入伍学生随校长先后两次东征，讨伐陈炯明，任排长、连长。北伐时升为营长，在南京栖霞山与直系军阀孙传芳部展开激烈战斗，以表现勇敢果断著称。不久升任第21师第61团团长。

黄维所在第21师从1926年秋天自广东挥师北伐，过江西，进浙江，到达上海、江苏，历时数月，沿途对城乡百姓不犯秋毫，处处受到欢迎。

1927年，随着国共之间的分裂，黄埔一期的学生也走向不同人生道路，黄维与宋希濂、杜聿明、郑洞国等人仍然追随校长，而陈赓、徐向前却选择了共产党。

校长素来推崇曾国藩的“识人之术”，用人考究“资历”，而黄维本身就是黄埔一期嫡系，在北伐战争中已是营长，在北伐中又表现勇敢。再加上国民党元老陈立夫的举荐，因此深得校长器重。

1928年秋，校长成立陆军第11师，钦点黄维任该师团长。

1929年，到国民党军事委员会参谋本部主办的陆军大学特别班第一期学习。在校期间黄维曾多次受到校长单独训话。

1932年，黄维从陆军大学特别班第一期毕业后，回到第11师，当时任第18军军长的陈诚对他非常赏识，将其提升为第31旅旅长，由此也被视为陈诚“土木系”的一位重要将领。

黄维的成名之战，是1932年2月-3月土地革命时期的赣州战役。黄维回忆赣州战役时说，“红军围攻赣州时，18军兼程驰援赣州。我是18军11师31旅旅长，在沙地驱逐红军的游击队后，直抵赣州北门，架成浮桥，在黄昏后率部三个团入城，立即接替北门、西门、南门的城防守备。当夜，红军在东门爆破城墙，部分突入城内，经马昆旅反击，被打出去。又经四五天，工兵营坑道挖成后，师长罗卓英命令总攻，31旅于夜半后，由坑道潜出城外，65团围困红军一个师，从师长侯忠英以下全部俘获。彭德怀只知马昆……嗯，都过去五十多年了。”

1933年3月，参加了校长发动的对中央红军的第四次“围剿”。失败后，奉令开往崇仁，担任防守任务，并升为第11师副师长。5月，校长又直接组织指挥对红军的第五次“围剿”。7月，第18军编制装备改革，黄维就任第11师师长，到庐山军官训练团受训。

黄维精心选拔年轻有志有为的黄埔学生担任连排指挥官，并在短促的时间内对士兵进行政治教育和军事训练。作为一师之长，他以身作则，严以律己，诚以待人，特别是他在生活上清廉得如一名士兵，使部下都诚服他治军严明。受训期满，率部在黎川附近的樟树、横村地区与红军作战。

1934年10月，中央红军突围长征后，他率第11师留在韶关、大庚岭一带，担任“清剿”任务。

1935年7月，第18军各师进入浙江境内，担负“肃清”在浙西南地区红军的任务。

1937年，一直欣赏德国军事教育的校长，一纸批文送黄维去了德国考察。在德国，黄维如饥似渴地学习德国军事经验，并在国内国民党军事刊物上发表了许多文章，使校长颇为赞赏。原定赴德深造一年，因抗日战争爆发，被提前召回国。

1937年9月下旬，黄维接任第18军第67师师长。

淞沪会战时号称“血肉磨坊”的罗店之战是黄维的第二个高光时刻。

罗店当时的地理位置非常重要，因为占据了罗店向南就可以直插当时的上海市区闸北、江湾、虹口一带；向西可以沿着罗嘉公路直取嘉定。 假如日军占领罗店，那么可以打开南进上海的通道，截断国府士兵与后方联系的陆上交通线沪宁铁路，所以谁掌握了罗店就掌握了淞沪战场的主动权。 淞沪战役爆发后，日军大本营开始增兵，臭名昭著的日军大将松井石根率领日军第3、第11军团增援上海，在这之后第3师团从吴淞口登陆往大场方向进攻，第11师团从川沙登陆进攻罗店。

这两支师团都是日本最精锐的甲种师团，战斗力非常强悍，日军靠着先进的火炮和坦克很轻松的就炸开了罗店的防线，由于当时罗店处于战争第二道防线，只有少量兵力在此驻扎，日军不废吹飞之力占据了罗店。

当得知这个情况之后，18军军长罗卓英立马派第11师紧急赶往罗店趁敌人立足未稳之际收复罗店。

由于日军当时刚刚占领罗店，后续部队也并未根上，所以罗店只有400多鬼子，11师随即展开猛攻，第33旅66团团长胡琏率部进行猛攻，突入罗店，当晚重新收复罗店。

然而国军还未站稳脚跟，25日早上，日军趁着国府士兵来不及稳固防线在飞机大炮的掩护下重新向罗店发动了进攻，罗店又重新陷入了一片焦土之中。

由于罗店的位置太重要了，国军高层命令罗卓英必须收复罗店，于是就在25日晚上，国府士兵在一片漆黑之中又重新发动了进攻，但由于日军已经吸取了上一次的教训，所以在罗店方向加强了防御，日本鬼子抵抗得非常顽强，战斗持续一整夜，国军将士死伤惨重可还是无法收复罗店。

战斗至26日早上，201旅前来支援罗店，看着大量的增援部队，日军更加疯狂地朝着国军阵地发射炮弹，在指挥作战的过程之中，201旅旅长蔡炳炎阵亡，罗店回到了国军手中。

然而，因为将士伤亡太过惨重，28日下午6时，国军将士因为伤亡惨重被迫退出了阵地，但是罗店南部依然掌握在18军手里。

从8月27日晚至9月3日，日军不断增兵防守罗店，国军也不断的投入罗店战场，希望尽快收复罗店，双方陷入了拉锯战之中。

9月6日，日军攻占了宝山，此时围攻罗店的国府将军一下子腹背受敌，罗卓英下令停止围攻，从9月13日至10月20日，中国守军全线转入防守，日本则不断的靠着航母、战机以及先进的重武器进攻中国守军。

10月26日，此时已经失去了最佳战机，统帅部决定撤出罗店，罗店保卫战至此结束。

在罗店与占据海陆空火力绝对优势日军，进行10余天的阵地战，几乎是“一寸山河一寸血”，打到最后黄维手下的三个团长，一人战死二人重伤，师部除一个电报员，连文书、炊事员都拿枪上去了。战后整编，活着的人连一个团都凑不上。当时，国民政府的宣传机构曾大肆宣传黄师长的忠勇可嘉。不过事后，也有不少人说当时黄维的指挥死板僵硬，“书呆子黄维”的名声就此落下。

淞沪会战后，他奉令率部转到皖南山区。

1938年，校长把“国军五大主力之一”的18军交给了黄维，34岁的黄维任军长。黄维深得校长信任，不到30岁就当了师长，从师长到军长也只用了四年。

在赴江西途中受校长召见。召见时校长送他一张照片留念，并将黄维的号“悟我”改为“培我”，可见校长对黄维的“栽培”之心。

武汉会战时，他将第11师、第67师部署在九江至南昌的南浔路德安地区一带。9月1日，日军第9师团一部乘第30集团军部署未定，突破阵地，沿瑞德公路窜扰南浔路之马回岭。黄维率第18军协同其他部队对其逐次截击、堵击，在马回岭与日军展开激战，使日军迂回德安的企图彻底破产。

黄维率部在武汉保卫战中迟滞日军攻势，特别是在湖口、彭泽作战中，全军以将近万人的代价的挡住日军波田支队的进攻。可以说当时的黄维，无疑是土木系的虎将。

武汉会战期间，黄维借了8门大炮给时任656团当团长的廖运周，攻打日本人。

1939年，日军攻占越南后，在滇越边境集结兵力，企图进攻云南，严重威胁我国西南各省。

1940年，同样是土木系王牌的54军军长陈烈在一次看牙医的过程中去世，而为了继续加强对54军的控制，陈诚推荐18军军长黄维平调担任54军军长。

要知道当时虽然54军是土木系部队，但却被划归何应钦系统的关麟征第9集团军，卫戍滇南防卫日军。对于黄维来说，担任54军军长，既要帮助土木系掌管老部队，又要和上司关麟征打太极，提防其往54军掺沙子。

因此，就在这暗流涌动的派系斗争中，黄维担任了54军军长。

黄维继任第54军军长，第54军属于中央军精锐劲旅，装备优良，下辖三个师，第14师阙汉骞部、第50师杨文瑔部、第198师王育瑛部，由昆明赶赴滇越边境驻防，率第54军抗击日军入侵。

在担任军长后，黄维可谓是尽心尽责。

为了加强土木系对54军的控制，他将11师副师长叶佩高调到54军协助其管理土木系，在随后原198师师长郑挺锋平调后，叶佩高也升任该师师长。刚升任54军军长的时候，因为陈烈的突然去世，部队士气低落。而面对这些，黄维也从1940年10月31日到12月下旬，在60天的时间里，走访了全军绝大多数基层作战连队，深入了解了训练、生活和军民关系，亲力亲为的帮助部下解决问题。

可以说黄维在上任后，就得到绝大多数下层军官（本来就是土木系）和士兵的爱戴，甚至其工作还得到了同样以爱兵自诩的陈诚首肯。照此以往下去，关麟征等人控制54军的计划必然破产，黄维的威望也足以让其在土木系和国军内部更进一步。 但这个时候，书呆子气息的黄维却打破了“国军潜规则”，让其直接从仕途最高峰跌落下来。

其实在黄维担任时，关麟征和何应钦等人就小动作不断，要么进行人事调动，要么挑拨54军内部矛盾。但这些暗招也随着黄维深入基层，巩固士气而瓦解。不过就在关麟征等人一筹莫展的时候，黄维干了一件对士兵好，却得罪高层的事。这件事被关麟征不断放大成“黄维贪污”最终导致其被革职。

原来，在国军内部基本上都存在着贪墨现象，为此当时主管军政部的何应钦也制定了军事主官不得干预后勤物资分配，想以此来控制军长、师长们的吃亏空现象。在推行过程中，一向以清廉著称的土木系，并没有当成一回事，毕竟土木系的主官们在陈诚带领下，作战能力暂且不谈，但基本上都不会喝兵血。在诸如18军内部，黄维也是直接参与军需分配。

但来到54军之后，虽然军事主官是土木系的，但军需也有其他派系的人。

因此54军内部的供给一直存在被克扣的现象。虽然有明文规定，当时嫡系部队每天1.5斤的口粮标准发放，但在实际过程中，这些口粮，特别是米里面不是发了霉就是掺了砂石，除了硌牙，还让人吃不饱。每个人的军饷也只有6元，在物价飞涨后，在菜市场上将士们也吃不起油和菜，战斗力当然要弱，军心涣散。因此底层士兵当时意见很大，天天嚷嚷着饿肚子。

而在深入部队了解情况后，为了稳定军心，提高战斗力，黄维也想以自己在18军的那套模式进行操作，由军部来调配补给，决定给每个士兵增加口粮二两和菜金，黄维决定，同时又给军政部门写报告，反映这一情况，还拿一些发霉、掺砂石子的军粮做为物证。

但那些军需蛀虫们可就不干了，他们一方面跟关麟征和何应钦打小报告，另一方面也在外面散播谣言说“黄维贪墨”。关麟征乘机利用此事陷害黄维，向何应钦进馋言，说黄维“有意与军政部何部长为难，实际是煽动部队反对何总长。”

而此事也上升到了何应钦和陈诚两派的的斗争上了，两人在会议上唇枪舌战。

何应钦一人双职，既是军政部长，又是参谋总长，大权在握，势力庞大。当时军粮质次、粮少，伙食费又低，这在国军各军中是普遍存在的，许多部队本来就不满和反感，这次黄维出来直言了，何部长很不高兴。何应钦想杀鸡儆猴，以处置黄维来压服各部队闹事。校长没有办法，只能让巡视组去视察。

但在接待巡视组的时候，黄维书呆子的劲又上来了。

黄维一向以清正廉洁自诩，压根不想理这些钦差大臣。不仅没有“效敬”和好酒好肉招待，甚至在对这些钦差大臣们也没啥好脸色。黄维对巡视组说：“如果你们查出我有贪污中饱私囊之处，请指出，据实报告军政部，将我法办!”言外之意：“不要在背后搞小动作。”

如此这般，本身有“鬼”的“钦差大臣”一 “稽查”，能说黄维的好话？除了对亲眼所见的军粮中自己为了那点儿银子掺的沙子视而不见外，反而暗中直找黄维的茬，“证据”找好了，什么也不说，就拍屁股走人。

巡视组在黄维这里吃闭门羹后，回到重庆的他们不仅说军需的军粮里面都是足额给到的大米，还在何应钦的授意下反咬了黄维一口，说“黄维破坏军需独立，公积金不报不缴，请予撤职查办。”。

血气方刚的黄维哪能忍，除了跟陈诚诉苦之外，还直接到何应钦的军政部闹起来，嚷嚷着辞职，搞得何应钦不胜其烦搬出了校长。

校长深知黄维不是这样的人，也知道军队蛀虫多，但如果这个时候支持黄维，会让更多的人直接干预军需，可能会闹分化。于是想了一个折中的办法，让黄维去后方当一个军事委员会中将高参过度一下。但奈何黄维性子太烈，看不惯官场的勾心斗角，决定辞职回乡，这期间黄夫人劝他随和点，他却说：如今抗战不能胜利，就是国家腐败造成的，他宁肯丢官回家种地，也绝不同流合污。

而这一隐退，就让他直接远离国军核心层将近5年时间。

国民党很多将领都领教过黄维“书呆子”的厉害。

杜聿明率远征军出兵缅甸，野人山战败回国，负责对他的部队进行点检的就是黄维。杜知道这黄维的秉性，执法如山，但希望他能够开恩给自己少报些损失，留点儿面子，伸着热脸去贴黄维的冷屁股，故宴请黄维。

宴会上的气氛果然凝重，杜幸明的幕僚们为了活跃气氛，就和黄维没话找话，说的也就是些“近来天气很好，风调雨顺什么的……”。谁知黄维不领情，立刻发作日“我老家江西正发水灾，哪来的风调雨顺”。杜聿明部下以为黄维向他们索贿，便问是否给黄维家送些“款子”。谁知，黄维听后更大发雷霆曰“我家开的酱油铺米铺，发大水正好发国难财……”杜聿明听后无奈地长叹一声便离席而去，知道黄维绝对不会对他“手下留情”了。

1944年，日军侵入贵州，直接威胁到当时的陪都重庆。国民政府为扩大兵源，号召知识青年从军入伍。校长将“军事委员会督训处”改组为“知识青年从军青年军编练总监部”，总部设在重庆，由黄维任副总监。黄维主持工作一年多，培训学员达五六千人之多。日本投降后，青年军分编为三个军。