在秦朝建立之前，商、周都采用分封制，将功臣、宗族子弟以及上古圣人之后分封在首都以外的其它地区，从而展现天子对诸侯们的表彰，诸侯们也能够帮助君王治理天下，他们用定期朝贡的方式来对共主表示尊敬。

但这一制度实行前期还算和谐，商朝末年，诸侯之一的西伯侯坐大，并暗中团结其它诸侯。最终，在武王姬发的带领下，一支庞大的讨伐军战胜纣王，建立了周朝。周朝也是类似的情况，随着诸侯们势力的强大，群雄割据的场面愈发显现。

秦朝建立后，为了避免重蹈商、周被诸侯灭亡的覆辙，秦始皇在全国范围内实施了郡县制。在中央朝廷以外，全天下的行政单位分为郡、县两级，郡的最高长官叫做郡守，县的最高长官叫做县令，他们都由皇帝直接任免。这一举措大大加强了中央集权。

根据《新华字典》的解释,郡守是“郡的长官，主一郡之政事。秦废封建设郡县，郡置守﹑丞﹑尉各一人。守治民，丞为佐。汉唐因之;宋以后郡改府，知府亦称郡守。”也就是说，在秦朝时，郡守主管该郡的政务，负责管理治下的人民。

与此同时，秦朝设置了郡丞和郡尉。郡丞辅佐郡守进行政事的处理，而郡尉则掌管军事、治安和刑狱。郡守于郡尉互不干预和隶属，但郡守是直接受中央政府管辖，所以其权力自然是大于郡丞、郡尉，尽管郡守平时对郡中军事干预较少，但仍然具有一定的兵权。

到了汉朝，天下有了州、郡、县三级行政区划。汉景帝时，群守更名为太守，而汉武帝时期，天下被划分为十三州，每州都设置州刺史，而郡则成为了州的下属机构。这一时期，郡由州来管辖，所以太守就大致等同于今天的普通市长。

南北朝时期，州的数量增加，导致了郡的行政范围缩小。隋朝时，郡被取消，太守也就渐渐消失，被刺史、知府所代替，这之后，太守只是偶尔作为刺史、知府等地方官的别称被提起和使用。