兰山区历史悠久。
早在1万至2万年前,先民就已在这里辛勤劳作,创造了细石器文化。西周,境内有鄅国,其都城在今柳青街道鄅古城村。春秋末期属鲁国,有中邱、启阳等城邑。其中,中邱于鲁隐公七年(前716年)建,城址在今白沙埠镇诸葛城社区;启阳于鲁哀公三年(前492年)建,城址在今临沂城,“启阳”为今临沂城最早的名称。
西汉初期置启阳县,县治在前启阳邑,后避景帝刘启讳,改启阳称开阳,“开阳”为今临沂城第二个名称。元封五年(公元前106年)置临沂县,县治在前中邱邑,时南境属开阳县,北境属临沂县。
东汉,建初五年(80年)琅邪国迁都开阳,临沂自此有“琅邪”之称,区境仍分属开阳、临沂二县。
南朝刘宋,属即丘县,县治在今兰山街道古城。
北魏设北徐州,州治在今临沂城。
北周改北徐州为沂州,“以州城东临沂水(河)以名之”,“沂州”之称自此始。
隋开皇十六年(596年),分即丘县置临沂县,属临沂县,县治在今临沂城,临沂城地名与地域始相符合;大业二年(606年)省即丘入临沂,临沂为沂州(琅邪郡)治所。
明洪武元年(1368年)将州治临沂县省入沂州。
清雍正二年(1724年)沂州升为直隶州,十二年(1734年)升为沂州府,同时以州衙所在地置兰山县,以为府治。
1913年废沂州府,同时改兰山县为临沂县。1936年临沂为国民党山东省第三行政督察区专署驻地。
抗日战争时期,临沂沦陷,中国共产党在县西北境及邻县边区成立沂临边县抗日民主政府。抗战胜利后,成立临沂县。1947年10月,适应战时需要,析临沂县沂河以西、祊河以南区域置临西县,1948年10月并临西县入临沂县。
中华人民共和国成立后,临沂县于1958年12月至1963年3月改为市,后又复为县。1983年9月,恢复临沂市,为山东省辖县级市。1994年12月,国务院批准撤销临沂地区和县级临沂市,设立地级临沂市,原县级临沂市区域分设为兰山、罗庄、河东3个县级行政区,均属地级临沂市。兰山区为临沂市人民政府驻地,辖区包括临沂城在内的原县级临沂市西北部。