戰國屬楚地，秦屬長沙郡，西漢屬長沙國，東漢系長沙郡地，隋置衡州，唐天寶初改為衡陽郡，宋為衡州、衡陽郡，明清為衡州府，1914年廢衡州府改置衡陽道，1922年廢道存縣，1937年屬第二行政督察區，1943年置衡陽市。

　　1949年10月8日中國人民解放軍進入衡陽，設衡陽專區，專署駐衡陽市。

　　1950年，衡陽市改為省轄市，專區轄8縣。

　　1952年，衡陽縣析置衡南縣，專區轄9縣，同年衡陽專區撤銷，設立湘南行署。

　　1954年，撤銷湘南行署，復置衡陽專區，專署駐衡陽市。轄原湘南行署所屬衡陽縣、衡南縣、衡山縣、江華縣、永明縣（1956年改稱江永縣）、道縣、寧遠縣、常寧縣、祁東縣、祁陽縣、零陵縣、東安縣共計12縣，專署駐衡陽市。

　　1955年11月25日，撤銷江華縣，原江華縣的大部和藍山縣的小部地區合并設置江華瑤族自治縣，原江華縣部分地區并入永明縣。專區轄11縣、1自治縣。 1959年，省轄市衡陽市改歸衡陽專區，衡南縣改歸衡陽市管轄。專區轄1市、11縣、1自治縣。

　　1961年，衡南縣改歸衡陽專區；零陵縣析置冷水灘市；專區轄2市、11縣、1自治縣。

　　1962年，撤銷冷水灘市并入零陵縣，零陵縣、江永縣、道縣、寧遠縣、東安縣及江華瑤族自治縣劃歸零陵專區，衡陽專區轄1市、6縣。 1963年，由衡山縣析置南岳縣，專區轄1市、7縣。

　　1966年，撤銷南岳縣并入衡山縣，衡山縣析置衡東縣；專區轄1市、7縣。

　　1970年，衡陽專區改稱衡陽地區，行政公署駐衡陽市。轄衡陽市及衡南縣、衡山縣、衡東縣、常寧縣、祁陽縣、祁東縣、衡陽縣共計1市、7縣。

　　1980年2月20日，衡陽市由地轄市升為省轄市（1983年改稱地級市），專區轄7縣。

　　1983年7月，衡陽地區與衡陽市合并，實行市管縣體制。衡陽市轄衡陽、衡南、衡山、衡東、祁東、耒陽、常寧七縣和江東、城南、城北、郊區、南岳五個縣級區。

　　1986年耒陽撤縣建市。

　　1996年常寧撤縣建市。

　　2001年城北、城南、江東、郊區四個區分別更名為石鼓、雁峰、珠暉、蒸湘四個市轄區。

　　截至目前，衡陽市轄雁峰區、石鼓區、珠暉區、蒸湘區、南岳區5個市轄區，衡陽縣、衡南縣、衡山縣、衡東縣、祁東縣5個縣，代管耒陽市、常寧市2個縣級市。

　　衡陽市政府駐蒸湘區解放大道16號。