沂水，是沂蒙地区经济较发达的一个大县，同时也是一个历史很悠久的古县。
根据史料的记载，早在春秋时期，鲁国和莒国互相争夺过的“郓”（东郓）邑就在沂水县境内。而秦汉以来，这里部分属于盖县，部分属于东莞县（后来的东莞郡）、东安郡。到了隋朝开皇年间初，朝廷撤销东安郡，置东安县(治团城) 。公元596年(开皇十六年)改名沂水县，别置东安县于古盖县。隋末，废东安县并于沂水县。至此，“沂水县”作为一个县级区划，开始稳定地出现在历史舞台上。老辈的沂水县范围相当大，后来分出若干的县，才形成现在的样子。不过，“沂水县”这个名字，一直延续了下来。
沂水，顾名思义，以水而得名。清代康熙版的《沂水县志》开篇就说：“沂之名以志水也。曷言乎志水？沂流自沂山来，西北入境，从城西而入沂南境，以县地西北为始终，故名沂水也。”
上面的话通俗来讲就是，沂水县之所以叫做“沂水”，是因为发源于沂山山区的沂河自西北流入县境，从城西而过，在南部出境，首尾贯穿了数百里的山川，堪称这片土地的母亲河，因此就以河为名。
而《山东通志》的解释与县志相仿，称：“沂水出沂山，东迳盖县故城，又南迳东安县故城，皆县境也。”
在古代，用山川河流作为参照物起地名，是一件很常见的事情。不过，其他的地名大多带有方位，比如东西南北或者阴阳，尤其是“阳”这个字，出现频率很高，叫起来也很好听，比如洛阳、襄阳、汉阳皆是如此。那么，为何沂水县没有遵循此例？尤其是沭河流域有个地方叫做沭阳，为何沂河流域没有叫做“沂阳”的地方呢？
从地图上看，这主要与沂河的流向有关。前面已经提到，沂河在沂水县境内主要是西北-东南流向，大致就是南北流向。也就说，沂河在沂水县境内，只有河东河西，没有河南河北的概念。而古人所说的“阴阳”，主要指的就是南北。山南水北谓之阳。沂水县城在沂河的东面，称作“沂阳”显然不妥。
不过，沂这个字，有双重含义，既可以指代“山”，也可以指代“河”。比如，在“沂蒙”一词当中，指的是沂山，而在“沂沭”一词当中，指的就是沂河。以沂河作为参照物，沂水县称不上沂阳，但以沂山作为参照物，沂水县却完全可以说是“沂阳”（沂山之阳，沂山的南面，类似的地名有衡阳）。
而且沂山在古代的名气并不比沂河差，《周礼》：“青州，其镇沂山。”史籍又有东泰山之称。《太平寰宇记》载：“沂山，在（沂水）县北百二十四里。”沂水县若以沂阳为名，也完全说得过去。那么，为何沂水县建立的时候没有采用“沂阳”这个称呼呢？
对此，史料没有明确记载。不过从地理位置来推测，或许是因为沂山的主峰位于临朐县境内。沂水县北部的山区虽然也属于沂山山脉，但主峰不在，多少会有些缺憾。而沂河贯穿沂水县全境，更有亲切感，因此最终选择以河为名，而没有选择“山”。