國策，這一點不會因為霍光的一些小動作而改變。
當桑弘羊等人也在暗自慶幸的時候，其實所有人都不知道，真正讓漢武帝撤下顏異的原因還不僅僅是為孔僅讓位，也不完全是顏異無才無德，幹不好大農令這個位置。
要知道漢武帝這幾年大舉進攻匈奴，中央財政的負擔早就到了崩潰的邊緣，可是在這種情況下顏異還能支援著漢武帝的各項舉措，甚至連上林苑都還在一而再再而三的擴建著，如果說顏異毫無能力那財政只怕早就無法運轉了，真正讓漢武帝拿下顏異的原因還是因為兩人產生了分歧！
這件事目前還只有少數幾個人知道，包括孔僅等人都不知道。能與顏異搭上邊的事情，自然也是關於經濟的問題，說到這件事又不得不牽扯到張湯，因為顏異與漢武帝產生分歧這件事就是張湯的提出的。
在西漢一朝有個不成文的規矩，那就是御史大夫雖然職責是糾察監督百官，不過因為位列三公在外朝有著相當大的話語權，其實已經是實質上的副相，而縱觀西漢一朝，除了少數幾位丞相以外，大多數丞相都是從御史大夫升上去的。而這種情況下如果遇到一個比較強勢，又深得皇帝信任的御史大夫，實際上就是御史大夫在行使相權，而張湯這個御史大夫就是明顯強過丞相李蔡的。
正因為這個原因，所有這一時期大漢許多國策不是漢武帝和李蔡制定的，而是和張湯制定的，比如緡錢令。現在漢武帝與顏異產生分歧的事情，也是因為張湯提出了一個可以聚斂各路諸侯和各郡高官的辦法。
這個辦法就是被稱作中國貨幣史上紙幣先河的‘白鹿皮幣’。張湯是酷吏是幹吏，同時也是廉吏，不過他確實不是治理經濟這塊料，在經濟政策上張湯提出的策略基本都被後世否定了，包括緡錢令也是弊大於利的，而這個白鹿皮幣也是張湯在經濟問題上出的又一個餿主意。
因為白鹿在古代是祥瑞的象徵，所以在漢武帝的上林苑中養了大量的白鹿，不過白鹿也會死去，於是張湯就想到用這些白鹿皮繪以彩繪，當做一種貨幣。而張湯這個損招損就損在，他讓漢武帝將這種毫無實際價值的白鹿幣定為等值四十萬錢，而後規定就國諸侯和各郡太守進京覲見的時候都要敬獻‘白鹿皮幣’。這樣一來就等於變相的向諸侯郡守索要財物，不過白鹿皮幣牽扯祥瑞，又讓人無法說什麼，因為按規定這些諸侯覲見本來就要進獻一些東西，只不過現在變成了明碼標價！
諸侯就是指各王國國君和就國的列侯，而一郡太守也無一不是富甲一方的人物，漢武帝知道這些人都很有錢，張湯這個建議又一次說到了漢武帝的心坎，當時漢武帝就已經心動了。
不過發行貨幣這事怎麼也要和大農令商議下，於是漢武帝就找來了顏異，不過顏異這人管理了這麼多年經濟，對經濟規律和貨幣基本制定還是很瞭解的，一聽這白鹿皮幣要等值四十萬錢，當時就苦笑著說道：“陛下，當今王侯朝賀皆獻以蒼壁，價值數千。而這皮幣反而要值四十萬，其本身價值不過幾十，這價值太不相稱，有違幣制根本！”
顏異無疑是否定了張湯和漢武帝，他的意思是說諸侯朝賀都是以蒼壁，這些本來就價值數千，而皮幣根本就不值幾個錢，卻要四十萬，價值根本就不相符，在古代貨幣那就是等值的計量，幣值多少其本身價值也就是多少。而皮幣就明顯違背了當時的貨幣規律，這種和後世紙幣如出一轍產物，在顏異看來無異於一種完全不負責任的聚斂民財的手段。
不得不承認顏異還是一個很正直的人，至少他是一個在真正從天下大局出發的人，因為紙幣的出現這等於是將一切國家風險完全轉嫁給了人民，這一點在後世的一次改朝換代就做出了最好的證明，一個即將瓦解的政府在最後瘋狂發行紙幣，而人民的財產就變得一文不值，到了最後政權破滅