晋时，设兖州刺史部，辖濮阳国、东平国、济北国、泰山郡、陈留郡、济阳郡、任城国、高平国（治昌邑，辖瑕丘、金乡、巨野等）八郡国五十六县。

晋武帝太康元年，西晋灭掉吴国，把全国划分为十九个州部。永嘉年间设立二十一个州部。兖州均为其中之一，初治廪兵，后移治郓城（今山东郓城西北）。晋惠帝末年，兖州全境沦没，附属后赵。

战乱中的兖州黎民百姓，大量南迁，到东晋元帝时便在南方设置了侨州、侨郡、侨县、侨乡等，兖州为侨州之一，治所设在京口。晋明帝太宁年间以郄鉴为兖州刺史，寄居广陵（今江苏江都县东北）。康帝建元初寄治金城（今江苏江宁县北）。穆帝永和中侨治下邳（今江苏邳县东），淮西公太和中又移治山阴（今江苏淮安），孝武帝太元中还治广陵，并割江淮地区为兖州辖境，领十四郡。历史上称广陵之兖州为南兖州。而称北方郓城同时存在的兖州为北兖州。北兖州辖东平、高平、济阳、济北、任城等郡。