水，與王映霞朝夕相處。郁達夫聞聽有關兩人的傳言，本就將信將疑。在福建時，郁達夫在廟裡抽得了一支怪籤雲：“寒風陣陣雨蕭蕭，千里行人去路遙。不是有家歸未得，鳩鳴已佔鳳凰巢”，使他對早先聽說的王氏與浙江省教育廳長許紹棣有染的緋聞，由懷疑漸近乎相信。後來，郁達夫返回杭州，又在自己家中發現了許紹棣的信件，終於忍不住大怒，夫妻爭吵。郁達夫將這些信批次影印贈送友朋，聲稱是打官司的“憑證”。王映霞則匆忙卷帶細軟躲到一個律師朋友家中。郁達夫請過郭沫若來檢視現場，並在報上大登侮辱性的啟事，且致電致信浙江軍政府，籲請查詢王映霞。
據說，1938年暮春，郁達夫從徐州回漢口家中，見王映霞正在書房讀信，王一見鬱來，便將信草草撕了幾下丟到痰盂裡。鬱將信從痰盂中撈起一看，正是許紹棣給王的情書。二人鬧翻。郁達夫每一喝醉，便指著自己的鼻子說：“我是烏龜，我是烏龜！”
後經友人調解，1938年，7月9日，郁達夫與王映霞簽訂《協議書》：“達夫、映霞因過去各有錯誤，因而時時發生衝突，致家庭生活，苦如地獄，旁人得乘虛生事，幾至離異。現經友人之調解與指示，兩人各自之反省與覺悟，擬將從前夫婦問之障礙與原因，一律掃盡，今後絕對不提。兩人各守本分，各盡夫與妻之至善，以期恢復初結合時之圓滿生活。”周象賢、胡建中為見證人，雙方“和解”。7月10日，郁達夫在《大公報》又登出《道歉啟事》。
德國馬漢茂輯《給郁達夫的信》中第二封，本為王映霞“致郁達夫夫君收存”的“字據”：
〖映霞因一時家庭生活痛苦，精神上無所寄託，致與許紹棣君有精神上的熱戀情事，現經友人調解及自己之反省，覺此等情事，實與夫妻生活有礙。今後當絕對與許君斷絕往來，夫婦共同努力於圓滿家庭生活之創造。
此致
郁達夫君收存〗
有人認為是王映霞先寫了這張字據交郁達夫收執，郁達夫才肯在《大公報》刊登有“神經失常”字樣的《道歉啟事》的。但王映霞在《自傳》中堅決否認這張字據。
然而感情的裂痕卻自此愈來愈深，終至最後在南洋惡臉相向。郁達夫把上面提到的籤詩和他所寫的詞，連同年（民國）三十六到三十八年間作的十八首律詩與絕句集為一編，加以註解，名曰《毀家詩紀》，在香港《大風》雜誌上公開發表，詳細敘說王映霞與許紹棣的“熱戀情事”；並聲言不要稿費，轟動一時，成為當年的熱門話題。郁達夫在詩詞中將王映霞比作妾。情變后王氏出走，鬱指其為“逃妾”，並在其丟下的一襲紗衫上題“下堂妾王氏衣物”。
而王映霞也以《一封長信的開始》和《請看事實》相對應，在文中他否認與許紹棣的關係，並極力對郁達夫攻擊，甚至有“蒙了人皮的獸心”等語，也是辯誣過頭，幾近謾罵。在報紙的推波助瀾之下，一對“富春江上神仙侶”終於覆水難收，以“協議離婚”分道揚鑣。王映霞從新加坡孤身回國，郁達夫則攜帶兒子鬱飛繼續在南洋飄泊，直到1945年被日本憲兵秘密殺害。王映霞後嫁於華中航業局經理鍾賢道，據傳當時婚禮極盡鋪張奢華。郁達夫失蹤後，郁達夫與王映霞所生的兩個兒子（鬱飛除外）也被送到孫荃處撫養。2000年12月，王映霞去世。
汪靜之在《王映霞的一個秘密》中揭露，王映霞的外遇物件並不是許紹棣，而是戴笠，因為害怕戴笠對郁達夫包括自己不利，所以他一直沒有說出來，他還寫道：“1946年夏我回到上海，我的妻子的一位同學錢青（也是王映霞的同學）說：‘王映霞從南洋回到重慶和某人（我忘了姓名）結了婚，就要戴笠幫忙，戴笠給她丈夫做運輸汽車隊隊長，在滇緬路直到重慶做運輸工作，汽車運私貨，大發財。抗戰勝利後，