观山湖区现行辖地古属中国南方地区九大诸侯国之一的牂牁国，三国两晋南北朝时期则属牂牁郡。唐朝时，属牂州。宋朝时，这一带有过矩州、贵州、大万谷落、黑羊箐等称谓。元代至元十九年（1282年）后，这一带区域为贵州长官司辖地。明代，仍属贵州长官司，贵州长官司改为贵竹长官司后，则归贵竹长官司管辖。明永乐十一年（1413年）贵州建省，至万历十四年（1586年）设置新贵县，现辖区大部分属新贵县。清康熙三十四年（1695年），撤新贵县置贵筑县，则辖地属贵筑县。民国时期，改贵筑县为贵阳县，现行辖区归贵阳县管辖。民国30年（1941年）撤贵阳县，重设贵筑县，又为贵筑县辖区。

中华人民共和国成立后，在1949年至1975年，现属辖区大部分属贵筑县第五区（金华区），设有野鸭、金鸭、朱昌、阳关、蒿芝、麦西、窦官等乡，少部分属第六区（沙文区）。1955年贵筑县划归贵定专区，1957年又划归安顺专区。1958年贵筑县撤销，由贵阳市接收原贵筑县辖地，观山湖区现行辖地则多划归乌当区管理，一部分归清镇县管辖。1973年恢复白云区后，一部分划属白云区。

2000年初，贵阳市委、市政府为缓解老城区拥堵，拓展城市发展空间，决定在老城区西北部建设城市新区，金阳新区应运而生，首先划入的金华、阳关的部分区域，面积17平方千米。2000年4月，原乌当区野鸭乡、金华镇、朱昌镇及白云区麦架乡部分区域，划入新区规划范围。2008年5月，贵阳国家高新技术产业开发区金阳街道办事处成建制整体移交金阳新区管理委员会管理。2008年11月，乌当区金华镇、朱昌镇成建制整体移交金阳新区管理委员会管理。2011年11月，清镇市百花湖乡成建制整体移交金阳新区管理委员会托管。2012年7月，撤销金阳街道办事处，设立碧海、世纪城、新世界、金华园、会展、逸景、金源、金麦、金岭9个社区服务中心。2012年11月，国务院同意在以金华镇、朱昌镇、百花湖乡（2017年9月，百花湖乡撤乡设镇，正式更名为百花湖镇）以及贵阳高新区分离出的原金阳街道办事处等地域设立观山湖区。2019年，撤销社区服务中心，设立宾阳街道办事处、观山街道办事处、云潭街道办事处、金阳街道办事处、世纪城街道办事处、金华园街道办事处、长岭街道办事处。

观山湖区，以区内观山湖公园得名。在正式设立行政建制区前，暂名“金阳新区”，取境内金华农场、阳关农场首字命名。因“金阳”与四川省“金阳”县重名，故申报建制区时，正式命名为观山湖区。