527年，陳慶之作為監軍跟著曹仲宗伐渦陽（今安徽蒙城）。北魏則派遣元昭領軍十五萬救援，前軍部隊趕到駝澗，大戰一觸即發。陳慶之建議夜襲，另一將領韋放則認為敵軍的前鋒部隊都是精銳，不易取勝。陳慶之只帶領自己的部屬200，長途奔襲四十里，一夜之內擊敗了北魏的先頭部隊！北魏的大部隊聽到先頭部隊腳都沒站穩就被吃掉，全軍震恐，行動遲緩，士氣大跌。
可惜領兵的總將偏偏不是陳慶之本人，因此雙方在渦陽附近打了近一年，戰鬥上百次，勝負還未分，但北魏已經在梁軍的後方築起營壘，形成夾擊之勢。曹、韋二人實在是打不下去了，準備撤退。陳慶之拿著假節在大營門口堵住部隊，說：“大家來到此地，已經一年多了。糧草兵器損耗巨大。如今鬥志全無，只想著退縮，哪有建功立業之心，行同謀逆。兵家有云，置死地而後生，現在正是決戰的好機會。我手上另有密詔，違令者依詔處置。”實際上他應該沒有什麼密詔。但這一手把軍隊和曹、韋嚇住了，把指揮權交給了他。陳慶之立刻率領精銳突襲北魏援軍自以為堅不可摧的十三道營壘，大獲全勝，魏軍的屍首淤塞了淮水的支流。渦陽城主王緯不得不出城乞降。
公元529年，北魏國內變亂，有實力的諸如蕭寶寅、葛榮、爾朱榮等紛紛割據，沒實力的象北海王元顥，就只有象春秋時期那樣自託他國，藉助他國的力量去成為本國的皇帝。於是元顥向梁投降，蕭衍不好回絕，於是派陳慶之帶領7000人馬送元顥上洛陽稱帝。這個行動與其說是莽撞，不如說是搞笑來得確切。要是區區七千人真能打下擁兵百萬的北魏國都洛陽，北魏早就被梁滅了，哪能等到元顥借兵。蕭衍很可能完全是敷衍一下元顥而已。更有可能的，他在出徵之前大概就悄悄告訴自己視為心腹的陳慶之：打著玩玩撤了就得了。但就是這次敷衍，成就了陳慶之的赫赫聲名。
元顥也沒打算真的打下洛陽，他出發不久便稱帝不走了，給陳慶之封了一堆官位，委任他自行戰鬥。於是在連綿的春雨之中，陳慶之帶領自己直屬的區區七千部隊，開始了神話一般的北伐之旅。
陳慶之攻克滎城，進軍睢陽。睢陽的守將叫做丘大千，攝於對手的威名，擁兵七萬，不敢進攻，連築九壘固守。陳慶之一上午就攻陷了其中三座，丘大千完全失去了鬥志，於是舉眾投降。這仗一完，另一個倒黴蛋元暉業又正好撞到槍口上：他率領近衛部隊兩萬人佔據考城阻擋陳慶之，考城四面環水，易受難攻。陳慶之“浮水築壘”，攻下考城，生擒元暉業，“繳獲物資七千八百輛”。
勝利之後，陳慶之繼續進軍洛陽。一路上有不少地方聞風歸降。大致穩定下來的北魏終於開始正視這支瘋狂的隊伍，平叛的新貴爾朱榮本人也是名將，在騎兵戰術上從不讓人，怎麼能容得這小小的部隊猖狂？何況北人坐馬，南人乘船，一個南方人陳慶之居然率領七千騎兵殺進北魏的腹地，在騎兵將領爾朱榮看來是何其可笑啊！
於是爾朱榮調動二十餘萬大軍，分別由驍將元天穆、爾朱吐沒兒、魯安等人率領，前後左右包圍了進攻滎陽的陳慶之孤軍。滎陽城內還有七萬守軍，三十萬對七千，爾朱榮想陳慶之這一次一定是真的逃不掉了。
沒想到包圍圈剛剛形成，還沒來得及進攻，陳慶之已經先攻下了七萬守軍的滎陽！但是佔領滎陽的陳慶之看到二十餘萬北魏援軍浩浩蕩蕩壓到城下，壓根沒想守城，而是親自帶領三千騎兵和敵人決戰。
三千對二十萬，雙方大部是騎兵。此仗之後，“北人坐馬、南人乘船”徹底成為了過去。陳慶之三千人全殲北魏二十萬援軍，“魯安於陣乞降，元天穆、爾朱吐沒兒單騎獲免”。
陳慶之乾脆帶著這三千人順便進軍虎牢關。有一萬精銳、踞雄關險要的虎牢守將爾朱世隆不敢接戰，連夜逃走。魏孝