退軍卻成為了賀瑰軍事生涯的終點。不久後，他因病去世，享年六十二歲。他的離世對於朝廷來說無疑是一個巨大的損失。為了表彰他的功績與貢獻，朝廷下詔追贈他為侍中，這一榮譽不僅是對他個人的肯定與緬懷，也是對他家族後人的慰藉與激勵。