舍雞到安西從軍，不過因為他外貌英俊，善於騎馬射箭，勇猛剛毅，而且還極為果斷，所以從軍之後就被授官遊擊將軍，等他二十多歲的時候，他已經和其父高舍雞的官職一樣高了。
開元二十九年，高仙芝被封為安西副都護、四鎮都知兵馬使，這一年也是他輝煌的開始。
因為就在這一年，達奚各部發動叛亂，率軍突襲碎葉城，節度使夫蒙靈察派高仙芝率領兩千名精銳騎兵追擊達奚部叛軍，一戰就將行軍勞頓而人困馬乏的叛軍擊潰，幾乎所有的叛軍都被高仙芝俘虜或者殺死。
天寶六年，唐玄宗李隆基命高仙芝率一萬步騎討伐小勃律國，高仙芝充分運用了自己的智慧，以計討之，只用了半年就徹底平定了小勃律國，周圍的拂菻、大食及各胡族共七十二國也都震驚地投降歸附了。
得勝之後，高仙芝就有些驕傲，和自己的頂頭上司夫蒙靈察起了衝突，夫蒙靈察甚至直接罵他是高麗奴才，監軍邊令誠得知了這個訊息，便秘密上奏了此事，然後對唐玄宗說：如果高仙芝立了功卻憂愁而死，以後誰會為朝廷賣力呢？
高仙芝對於他的表現很是感動，不過他卻不知道，正是這個邊令誠，在決定大唐命令的最關鍵時刻誣告他和封常清，最終將他斬首，長安城也因為邊令誠的干擾而最終陷落。
當然，這都是後話。