以便赴港與女兒同住。原本健步如飛的林語堂自此急速衰老，記憶也開始衰退，但他仍安慰二女兒，“活著要快樂”；他也在文章裡講到，故舊多半去世了，回顧一生無論是成是敗，他“都有權休息”。
1975年5月，林語堂在一篇序中寫道：“我的筆寫出我胸中的話。我的話說完了，我就要告辭。”林太乙嚇了一跳，覺得父親好像有死亡的預感。
林語堂變得常常愛掉眼淚，遇到風和日麗的時候，他流淚；聽見山上鳥聲，他流淚；聖誕節的時候，林太乙帶他到百貨公司，這裡到處充滿喜氣洋洋的節日氣氛，擺滿了各式各樣漂亮的裝飾品，聖誕樂曲歡快地響著，大家高興地選購禮物。林語堂從櫃檯上抓起一串假的珠鏈，泣不成聲。林太乙覺得，這個世界太美了，父親捨不得走。
這一年，林語堂因身心過於疲勞引起十二指腸下垂、潰瘍，健康更走下坡，他開始坐輪椅，從林相如公寓的臥室到客廳都要坐輪椅。他甚至忘了怎麼系睡袍上的腰帶，家人只能教他，他很耐心地學。有時睡覺會從床上掉下來，自己爬不起來，但他怕吵到孩子們，就在地上躺到天亮。他坐在輪椅上對林太乙說：“我真羨慕你，想去哪裡就去哪裡。”
1976年3月23日，林語堂因胃出血送入香港瑪麗醫院，後因併發肺炎、心臟病突發，於3月26日晚間病逝於香港。4月1日移靈臺北，一部《聖經》伴隨，長眠於陽明山故居“有不為齋”後園中，享年八十二歲，墓碑由好友錢穆題字。
1985年，廖翠鳳將陽明山的住宅及林語堂生前的藏書、作品、一部分手稿、代表性遺物捐贈給臺北市政府。
【評價】
林語堂曾自我評價：“我的長處是對外國人講中國文化，而對中國人講外國文化。”
1935年6月，賽珍珠在上海為《吾國與吾民》作序，她寫道：“它實事求是，不為真實而羞愧。它寫得驕傲，寫得幽默，寫得美妙，既嚴肅又歡快，對古今中國都能給予正確的理解和評價。我認為是迄今為止最真實、最深刻、最完備、最重要的一部關於中國的著作。更值得稱道的是，它是由一箇中國人寫的，一位現代的中國人，他的根基深深地紮在過去，他豐碩的果實卻結在今天。”
1936年5月，斯諾請魯迅寫出中國當代最好的五名雜文家，魯迅當即寫下林語堂的名字，並且位序排在自己前面。
林語堂的小說都用英文寫就。趙毅堂在《林語堂與諾貝爾獎》一文中指出：“應當說，林的中文好到無法翻成英文，他的英文也好到無法翻譯成中文。”
李敖說，他在臺大曾聽過林語堂講授《紅樓夢的考證》，林語堂的“玩世不恭之態，溢於言表”，笑嘻嘻的頗可愛、甚可法，因此李敖從此搖身一變，決定以幽默大師的面目面對世人。
林語堂的“菸斗”同志、美食作家唐魯孫說，林語堂雖然愛笑談，細細咀嚼他的話，都有高深哲理，而且言行表裡如一。
林語堂介紹中國和印度古代經典作品的著作《中國印度之智慧》（The Wisdom of China and India）被美國的大學廣泛列為教科用書。
林語堂曾與胡適一同被美國文壇列為“二十世紀智慧人物”。
美國《紐約時報》在報導林語堂逝世訊息時說：“林博士以淵博的西方知識，導引他的國家和人民舊有觀念現代化。”
日本《每日新聞》說：林語堂“對於讓外國人瞭解中國以及中國文化，所作的貢獻，超越十名大使的價值”。
林語堂曾被西方社會譽為除孔夫子外，另一位最廣為西方人認識的中國文人。
美國總統老布什於1989年在美國國會上說，林語堂作品所反映中國文化的觀點，至今仍在影響美