夏朝时期，太昊（伏羲氏）后裔有仍氏（亦称有任氏，任、仍古时同音）就在这里建立了仍国。周朝时期，仍国被封为任国。春秋战国时代任国先后隶属于鲁、宋、齐国。秦统一中国后，废任国而改为任城县。这是“任城”称号的最早由来。南北朝北魏神龟元年（公元518年），任城县始建治于今市区驻地，同时在此设立了任城郡。到了唐代，任城已经有了一定规模，成为东鲁地区的一个重镇，诗仙李太白就曾在任城居住达二十余年，现市区仍然留存有与他有关的古迹--太白楼和浣笔泉。五代后周广顺二年（公元952年），设济州于巨野，任城县隶属济州。金完颜亮天德二年（公元1150年），巨野发生大洪水，遂把济州州治迁至任城。元至元八年（公元1271年），升济州为府，因“济水南汇泗，北汇汶，州居其中”，地势高而水患不至，取吉祥安宁之义，更府名为“济宁”。任城县也由此改称济宁县。　　自元朝开始，运河改道东移流经济宁，使济宁成为南北转输的要地。到明永乐年间，济宁已是“水陆交会，南北要冲之区；襟带汶泗，控引江准、灌运咽喉”。这以后，总管运河河道的总督府一直设在济宁，至清乾隆年间，济宁已是“齐鲁之大邦，水陆之要冲”。明清两朝，济宁的商户已发展到上千家，成为京杭运河沿岸的七大商埠之一，享有“江北小苏州”之誉，与淮阴、临清并列为运河三大名镇。