隋唐时期，由于太原政治地位提高，太原郡升格成为北都太原府，管辖了山西高原中北部地区的太原、晋阳、榆次、阳曲、盂县、寿阳、乐平（今昔阳）、太谷、祁县、文水、交城、清源（今清徐）、石艾（平定）等13县。太原府实际上是并州与太原郡两级合并的结果，而官方层面的“并州”之名已不复存在，仅作为太原地名的同义词，成为指代山西中部一带的称呼之一。

春秋末期赵氏（晋国六卿之一赵鞅）始建的晋阳城，历经三家分晋、西汉戍边、东魏霸府、北齐别都、北汉都城、盛唐北京、五代战乱，从发展到扩张、再到辉煌，存续约1500年之后，终因“龙城”之故，机缘巧合地又毁于北宋的赵氏（宋太宗赵光义）。被火焚、水淹之后的晋阳城瞬间变为废墟，晋阳县也被撤销，“晋阳”之名从此消失于史册。晋阳城的居民被迫迁至晋阳故城北新筑的城池，这里被置为平晋县（今太原市小店区一带），意为“平定晋阳”。

失去了晋阳城的并州地区不能没有一个行政中心，于是，新置并州军事，榆次被置为并州军事治所，下辖了榆次、平晋、阳曲、徐沟、寿阳、太谷的一部分等地域。并州的行政中心在短暂置于榆次之后，又迁到了距古晋阳城北四十余里的阳曲县唐明镇（现太原市城区所在）所筑的并州新城——太原城。明朱元璋三子朱棡为晋王时，扩筑太原城。明太原城周长达12公里，城墙高12米，城墙上建4座角楼、8座门楼、92座敌楼，是长江以北仅次于北京的大城，位列“九边重镇”之首。从宋代至明清，太原城曾作为阳曲县治、太原府治、冀宁路治、山西省治。

被北宋朝廷明令禁止耕种、居住的晋阳城遗址，沦为荒泽达百年之久。金朝女真人围攻太原城时，又一度被增补维修作为军营。明洪武年间，平晋县城被洪水冲毁后，原春秋晋阳城南再筑新城，平晋县治迁入此城（今晋源镇），改称太原县，管辖曾经的晋阳县范围，主要涵盖了今晋源区一带。

从管辖地域来说，太原县算是晋阳县的继承者。于是，太原县与太原城出现了中国县治史上绝无仅有的现象：“太原城”不在“太原县”，也不归“太原县”管辖，而是建在“阳曲县”，归“阳曲县”管辖，太原城与太原县是分离的。

太原郡的行政继承者“太原府”，自北宋初年彻底取代“并州”后，至清末时，仍置太原府，下辖阳曲、太原（今晋源区）、榆次、交城、徐沟、太谷、文水、祁县、兴县、岚县、岢岚州等10县1州，太原府治和阳曲县治都设在位于阳曲县的太原城中。

中国的国家政区制度中，县一直是最基本的政区单位。太原作为河东山西的中心，无论是地理位置还是经济实力，都远超周边其他地方。太原从最初的太原郡，演变为太原府、冀宁路、冀宁道等，无论名称发生怎样的变化，都直接或间接统辖着县级。而榆次自公元前247年建县后，县级地位从未发生过改变。榆次县与太原府的府治（晋阳城或其继承者太原城）距离不超40里，再加上榆次的县域面积有限，因而，榆次县从秦代开始隶属太原郡以来，在整个封建社会时期，都隶属于太原之下。直至辛亥革命后，国民政府频繁的政区制度改革，使榆次与太原经历了一段混乱的关系。

1911年，辛亥太原起义成功，阎锡山被举为山西都督，在太原建立晋系军阀，开始了对山西长达38年的经营。期间，由于国家政局动荡，各项政策频繁颁布，导致此时太原地位的升降不一，或为县，或为市，而榆次也或由省直接统辖，或隶属于太原之下。

1912年，太原府制被废，置中路道，后又改置为冀宁道，辖阳曲、太原、榆次等 43县，道治设于阳曲县。此时的太原已降为县级，与榆次同级，榆次不属于太原管辖，而是直接隶属于冀宁道。1927年，冀宁道被废除。太原改制为市，太原市正式建市，为山西省会，仍设榆次县。1945年，日本投降后，阎锡山为了“剿共”在全省设16个行政督察区，其中第八区辖阳曲、太原、榆次等八县。后又改为14 个行政督察区，太原市和阳曲、榆次等 5 县由省政府直辖。这时的太原与榆次同属督察区直接管辖，无上下之分。

公元前453年的榆次城和晋阳城，站在了晋国六卿之智氏集团和赵氏集团交锋的前沿，晋阳之战不仅奠定了晋阳城的北方军事重镇地位，也为榆次置于太原管辖之下创造了条件。2400年之后的公元1948年，晋阳城早已消失在历史的的长河中，而饱经沧桑的榆次城与晋阳城的继承者——太原城，又一次站在了人民解放军华北军区部队和国民党阎锡山部队对峙的前沿，太原战役前“晋中区”的设置，以及榆次在太原战役中的重要地位，为其脱离太原、独立发展奠定了基础。抗日战争时期，处于石太铁路与同蒲铁路交汇处的榆次，因重要的地理位置成为连接晋察冀、晋冀鲁豫、晋绥三大中共抗日根据地的地下交通站。解放战争期间的1948年，7月，华北野战军第十八兵团向阎锡山部队进攻，解放了榆次等14座县城，太原成为一座孤城。