辛苦臨摹了一上午的畫就變成了劉海粟的作品了。傅雷與張弦是莫逆之交，這件事情傅雷當然也知道。
張弦在上海美專工作繁重，還有時被劉海粟叫去代筆，生活不堪重負，劉海粟給張弦的工資也很低，傅雷看不下去，多次要求劉海粟給張弦加工錢，劉海粟就是不肯。張弦經常連基本的伙食開支都不夠，但是由於性格內向，不願意說出來，生活清苦潦倒，心情常年壓抑。
1936年暑假，張弦得病，鬱郁而死，傅雷深為痛惜，寫下了《我們已失去了憑藉——悼張弦》一文，文中滿懷深情地評述了張弦的高潔人品與獨特的畫風。傅雷認為，張弦的悒鬱而死，與劉海粟的剝削有直接關係，在籌備張弦遺作展時，傅雷當眾宣佈，與劉海粟絕交。
此時，傅雷已經從美專辭職三年，專職在家翻譯寫作。1933年，傅雷的母親病逝，傅雷回鄉料理母親的後事，回來後就辭去了上海美專教授一職。劉海粟真誠地挽留，傅雷沒有答應。傅雷說，不但現在不教，將來也不教，也答應劉海粟，不在別的學校任教。後來，對傅雷辭職一事，劉海粟曾說：“事過25年之後，我才知道他之所以不願教書，並不是和同學們意氣用事，而是另有原因。後來一位參加過圍攻傅雷的同學楊志榮告訴我，那天他和同學們一起衝進教室的時候，曾經打過傅雷幾拳。為了這件事，他多年惴惴不安，考慮再三，最後還是把真相告訴了我。”
劉海粟所說的傅雷捱打，是怎麼回事呢？
“九一八”事變後，上海的抗日熱潮漸漸高漲，學生是其中的中堅分子，一向活躍的上海美專學生會經常組織學生參加抗日宣傳活動。學生會向校辦主任傅雷要求，上午可以繼續上課，下午則應安排他們到街上去從事抗日宣傳活動。傅雷一方面同意學生們的合理要求，另一方面又說，抗日不應該荒廢學業，原先下午的美學和美術史課程，要在晚間補上。學生們同意了傅雷的安排。
1932年的一天下午兩點多，傅雷正在給一班學生講課，學生會主席成家和、骨幹趙丹、楊志榮等人，急匆匆地闖進教室，責問傅雷為何不停課，耽誤了學生集合。傅雷堅持要上完20分鐘課再下課，成家和、趙丹等有些不耐煩，和傅雷爭執了起來，混亂之中，楊志榮打了傅雷幾拳。txt電子書分享平臺
劉海粟與傅雷交惡始末（3）
後來，上海美專的學生知道自己錯了，又向傅雷道歉，並專程為傅雷開了一個歡迎會，希望傅雷能繼續給他們上課，傅雷參加了歡迎會，與學生們冰釋前嫌。
劉海粟認為是由於學生打了傅雷，而使傅雷不再來美專上課，判斷應該是不準的。如果傅雷真的是因為學生打了他，就不會時隔兩年後才辭職，這中間，傅雷曾去哈瓦斯通訊社工作了半年，後又回到上海美專。如果因為有學生打了他幾拳而不願再教書，他完全可以不再回到上海美專。
後來，在1957年7月18日寫出的《傅雷自述》找到了答案：
1933年9月，母親去世，即辭去美專教務。因（一）年少不學，自認為無資格教書，母親在日，以我在國外未得學位，再不工作，她更傷心；且彼時經濟獨立，母親只月貼數十元，不能不自己謀生；（二）劉海粟待我個人極好，但待別人刻薄，辦學純是商店作風，我非常看不慣，故母親一死即辭職。
從《傅雷自述》中可以看出，自進入上海美專任教以來，傅雷對劉海粟的辦學方式、待人刻薄等諸多事情都看不慣。那時的傅雷，在心裡其實已經與劉海粟距離甚遠了。到了1936年，傅雷的好友張弦去世，傅雷將張弦的英年早逝大半歸罪於劉海粟，更加劇了對劉海粟的反感。據《傅雷自述》說，張弦死後，傅雷和一些朋友在《時事新報》上編了一個特輯，用以悼念亡友，請劉海粟出一點錢協助