主趕到李休家之前，那些衝出的衛士是什麼人，原來他們都是保護李承道的宮中禁衛，難怪他會感覺那些眼熟，可惜現在明白這些卻已經太晚了。
馮侍郎的那些侍衛被宮中禁衛狂毆之時，這些禁衛已經派人進宮，把那邊的事情稟報給了東宮，所以李建成才會知道的如此清楚，而且李承道還吩咐報信的人說自己差點受傷，這讓李建成也是大為惱火，這時也正是生柴紹的氣，把他拒之門外已經算是客氣的了。
柴紹失魂落魄的離開了東宮，在大街轉了半天也不知道去哪，最後無奈的回到家中，然後把自己關在書房裡苦思對策，可惜想來想去卻沒能想出對應的辦法，只能被動的等待朝廷的懲罰。
李淵那天雖然拒絕了平陽公主與柴紹和離的請求，但是看到這個最寵愛的女兒傷心的離去，心中也十分的愧疚，最後這種愧疚也轉化為對柴紹的怒火，最先倒黴的是那個馮侍郎，先是被免官撤職，然後又被人查出中飽私囊，結果被抓到刑部的大牢之中。
柴紹做為這件事的幕後兇手，自然也沒逃過懲罰，幾天之後，一道聖旨從宮中發往柴紹府中，這道聖旨的內容很短，直接免去了柴紹的右驍衛大將軍一職，罰俸三年，還讓他閉門思過一個月，也沒說什麼理由，畢竟像這種涉及到皇族內部矛盾的事，一向都不會公開，反正被懲罰的人自己知道原因，也不敢有什麼意見。
柴紹接到這道免職的聖旨後不禁眉頭緊鎖，罰俸和閉門思過都無關輕重，唯獨免去了他的大將軍有些嚴重，畢竟這樣一來，他就成為一個沒有實權的貴族，說話的份量也會大為減輕，如果換成其它官員的話，幾乎相當於被就地免職，日後都不可能有再復起的希望，整個人的仕途也就此毀了。
不過李淵雖然免去了柴紹的實際官職，但卻沒有動他霍國公的爵位，這讓柴紹從中品味到一絲希望，這說明李淵並不是真的想要把他徹底冷藏，而是給他一個嚴重的警告，日後很有可能會再次啟用他，畢竟他背後還有一個根基深厚的家族，絕不是一般的官員可比。
想到上面這些，柴紹也不由得鬆了口氣，李淵的懲罰雖重，但至少還給他留了一絲希望，只要他這段時間表現的老實一點，不要再去招惹平陽公主就行了，特別是等到過年時，他再借這個機會進宮向李淵認個錯，估計這件事也就過去了。
抱著上面的想法，柴紹老老實實的在家呆了一個月，他是個喜歡熱鬧的人，每天被關在家裡簡直就是種折磨，不過為了不惹李淵生氣，他還是強忍著在家裡呆了整整一個月，甚至在閉門思過期滿之後，他也儘量的減少外出，營造出一種深居簡出的樣子。
柴紹最常去的地方是長安東市附近一家賭場，名叫東安賭場，雖然大唐禁賭，但長安城大大小小的賭場卻有幾十個，東安賭場算是其中最大的一個，而且這家賭場表面上是一個外地的商人所開，但實際上的控制人卻是柴紹。
柴紹好賭，這幾乎是所有武將的通病，當初還是前隋時，他還是大隋的千牛備身之時，就經常與一幫貴族子弟聚賭，而且他比一般的貴族子弟有腦子，在看到賭博所獲之利巨大時，他想到了親自開賭場，這家東安賭場就是他年輕時開辦的。
後來因為戰亂，東安賭場一度關閉，不過等到大唐成立後，柴紹也功成名就，於是就把這家賭場再次開了起來，並且一躍成為長安城中最大的賭場，有了這家東安賭場，一來方便柴紹自己玩，二來也為柴家輸送了大量的錢財，所以柴紹對這些也頗為重視，以前每隔幾天都來玩幾把，即過了賭癮又能順便巡視一下這裡。
不過柴紹雖然好賭，但卻不是像爛狗皮那樣的爛賭鬼，而且他也不會像一般賭客那樣在大堂裡玩，事實上像他這種好賭的貴族並不在少數，所以每天都會有不少貴族去賭場，這些貴族們一般都是在賭場特定