恰逢此時，佑國軍節度使王重師無罪被殺，這一事件讓劉知俊感到了深深的恐懼和不安。他擔心自己也會像王重師一樣遭到太祖的猜忌和打壓，最終落得個身敗名裂的下場。於是，他決定佔據同州反叛，以保全自己的性命和地位。
《鑑戒錄》中記載了這樣一個故事：當劉知俊鎮守同州時，因修築營牆而挖到了一個重物。這個重物重達八十餘斤，形狀像油囊一般。劉知俊好奇地召集了賓客幕僚和將校來詢問這個重物的來歷和用途。其中一個人名叫劉源，他解釋說：“這是冤氣凝結而成的物體，自古以來監獄之地有時會有這種東西出現。從前王充佔據洛陽時，修建河南府監獄時也挖到過這種東西。我聽說酒能忘憂，用美酒祭奠它或許可以消解冤氣。然而這種東西的出現也不是吉祥的徵兆啊！”
劉知俊聽了劉源的話後心中更加不安起來。他擔心這個重物會給自己帶來不祥之兆，更擔心自己的反叛行為會遭到天譴和報應。然而，他已經沒有了退路，只能硬著頭皮繼續走下去。於是，他命人準備酒食祭奠這個重物，然後重新將它掩埋起來。
不久之後就發生了叛城背主的事情。劉知俊向李茂貞投降了，並分兵襲擊了雍州、華州等地。雍州節度使劉扞被擒獲後送往鳳翔被殺，華州的蔡敬思也受傷後逃脫了。這一事件震驚了後梁朝廷和軍隊，也讓太祖朱溫對劉知俊的猜忌和打壓達到了頂點。
太祖聽說劉知俊反叛的訊息後憤怒異常，他派遣近臣去勸說劉知俊：“朕待你非常優厚，你為何要背叛我呢？”劉知俊回答說：“臣並非背德之人，只是害怕死亡罷了！王重師沒有辜負陛下卻遭致滅族之禍，臣又怎能不擔心自己的下場呢？”
太祖又派使者對劉知俊說：“朕沒想到你會這樣做。之前王重師獲罪是因為劉扞說他暗中勾結邠州、鳳翔，終究不會為國家所用。我現在雖然知道這是冤枉的但後悔已來不及了。導致你如此行事我心裡很遺憾，這都是劉扞誤我的事啊！劉扞一死固然還不能抵消他的罪責。”然而，劉知俊並沒有回應太祖的勸說和解釋，他已經決心與後梁決裂，走向自己的命運之路。
於是，劉知俊分兵把守潼關，以抵禦後梁軍隊的進攻。太祖命令劉鄩率兵進討潼關，雙方展開了激烈的戰鬥。在這場戰鬥中，劉知俊的弟弟劉知浣也身陷其中。他原本是後梁的親衛指揮使，但聽說哥哥反叛後便從洛陽逃到潼關。然而，他最終還是被劉鄩擒獲並殺害了。
不久之後，朝廷大軍相繼到來，劉知俊知道自己已經無法抵擋後梁的進攻了。於是，他帶著全族投奔了鳳翔的李茂貞。李茂貞對劉知俊的到來表示了熱烈的歡迎，並偽任他為檢校太尉、兼中書令。然而，由於李茂貞的領土不廣，沒有藩鎮可以安置劉知俊，只能給予他豐厚的俸祿而已。
儘管如此，劉知俊並沒有因此而感到滿足和安逸。他深知自己的處境仍然十分危險，必須時刻保持警惕和戰鬥精神。於是，他向李茂貞請戰，希望能夠透過戰鬥來證明自己的價值和忠誠。
李茂貞欣然同意了劉知俊的請求，並命令他率兵圍攻靈武。劉知俊率領著軍隊浩浩蕩蕩地出發了，他們一路披荊斬棘、所向披靡，很快就抵達了靈武城下。然而，靈武節度使韓遜並不是一個容易對付的對手。他率領著守軍頑強地抵抗著劉知俊的進攻，雙方展開了激烈的戰鬥。
在這場戰鬥中，劉知俊展現出了自己的軍事才能和英勇的戰鬥精神。他率領著軍隊一次次地衝鋒陷陣，與守軍展開了殊死搏鬥。然而，由於守軍的頑強抵抗和靈武城的堅固防禦，劉知俊始終無法攻破城門、佔領城池。
就在雙方相持不下的時候，後梁軍隊派遣了援軍前來支援靈武。這支援軍由康懷英率領，他們率領著數萬精銳士兵浩浩蕩蕩地趕來了。劉知俊得知訊息後心中一緊，他知道