公元185年（中平二年）三月，北宮伯玉等率領羌胡進犯三輔，靈帝派遣左車騎將軍皇甫嵩率軍討伐，皇甫嵩表請武將隨行，召拜陶謙為揚武都尉一同出征，將羌軍擊敗。七月，皇甫嵩因先前得罪中常侍趙忠、張讓，在他們的誹謗下被貶官削爵。同年。邊章、韓遂叛亂，朝廷另委派司空張溫為車騎將軍前往討伐，張溫請陶謙為參軍，接遇甚厚。但陶謙素來輕蔑張溫的作為。心懷不服。後大軍回朝，陶謙在百官宴會上公然羞辱張溫。張溫大怒，意圖將陶謙遷往邊關，在別人的勸說下才將陶謙追回。張溫於宮門迎接陶謙，陶謙並不領情。但張溫對陶謙還是像以前一樣好。
公元188年（中平五年）十月，青、徐兩州黃巾復起，攻打郡縣。朝廷以陶謙為徐州刺史，鎮壓黃巾軍。這是陶謙為官生涯第一次作為主帥出征，但陶謙卻也不負聖命，一到徐州就任用亡命東海的泰山人臧霸及其同鄉孫觀等為將。結果一戰便大破黃巾軍，剩下的黃巾軍也被迫逃出徐州境內。黃巾破走後。陶謙上表拜臧霸、孫觀為騎都尉，令其屯琅玡郡治開陽，駐守徐州北面。當時徐州兩遭黃巾之亂，戰火過後“世荒民飢”。
公元189年（中平六年）。陶謙表薦下邳人陳登為典農校尉，在徐州境內實行屯田。陳登雖然才二十五歲，但一上任便“巡土田之宜，盡鑿溉之利”，在陶謙、陳登的努力下，徐州農業生產得到恢復和發展，收穫“粳稻豐積”。當時，陶謙同郡人下邳相笮融督管廣陵、下邳、彭城運糧，其利用手中掌握的糧食，起大浮屠寺，可容三千餘人，悉課讀佛經；又以信佛免役作號召，招致人戶五千餘，“每浴佛，多設酒飯，布席於路，經數十里，民人來觀及就食者且萬人”。 ；笮融此為雖是侵吞三郡糧食，但觀其之行事排場之大，不可能不為陶謙所知，可見這是出於陶謙的默許，笮融才有如此膽量。
陶謙擔任徐州刺史年間，北面的青州、兗州黃巾之亂此起彼伏，徐州卻是太平無事，百姓都很富足，穀米屯滿糧倉，四方流民也紛紛湧向徐州。陶謙雖然為徐州地方最高官員，可他並非徐州土著。在徐州為官，必須先和當地豪門名士搞好關係。可事實未必如此，稱為“以忠直”為陶謙“見疏”的趙昱，確實被陶謙硬請出來為官的，先任“州之股肱”地位的別駕，後舉茂才，遷廣陵太守，廣陵當時是徐州數一數二的膏腴之地。而另一徐州名士王朗，也被陶謙舉為茂才，任 ；徐州治中從事。可見陶謙對徐州名士不是見疏，倒是真的“親任之”。
公元190年（初平元年）正月，關東牧守擁立袁紹為盟主，矛頭直指在洛陽的董卓。徐州所在廣陵太守張超更是為促成同盟不遺餘力。當時天下郡縣響應，大興義兵，名豪大俠，富室強族，飄揚雲會，萬里相赴。但陶謙並未加入關東聲討董卓的軍事行動之中，後來聯軍為關羽擊敗證明了陶謙此舉的明智。
公元193年（初平四年），經王朗與趙昱的建議，陶謙派趙昱向獻帝進貢以表示對漢室的支援，獻帝接到陶謙的奏章後讚賞並升陶謙為徐州牧、安東將軍；趙昱被任命為廣陵太守，王朗被任命為會稽太守。同年，下邳人闕宣聚眾數千人，自稱天子，陶謙派軍將其擊殺。
徐州卻是太平無事，因此四方流民移依徐州日益增多。對那些自相兼併的諸侯來說，“百姓殷盛，穀米封贍”的徐州無疑是一塊大肥肉。
當下曹操聞聽父親被殺哭倒於地。眾人救起。曹操切齒道：“陶謙縱兵殺吾父，此仇不共戴天！吾今悉起大軍，洗盪徐州，方雪吾恨！”遂留荀彧、程昱領軍三萬守鄄城、範縣、東阿三縣，其餘盡殺奔徐州來。夏侯淵、曹洪、典韋為先鋒。操令：但得城池，將城中百姓，盡行屠戮，以雪父仇。
原來這曹操對徐州早就虎視眈眈了，想圖徐州久矣，恨無興師理由，這下好了，