然而，落魄的生活又是何等艱難。唐寅一生先後有三個夫人，第一個夫人在唐寅25歲時去世；第二個夫人因唐寅會試案與唐寅離婚；第三個夫人知書達理，是位賢內助，對唐寅的後半生多有幫助。唐寅的大半生飽受著世態炎涼的滋味，這在他的《秋風紈扇圖》中有著深刻的體現。此圖中的仕女，手執紈扇，獨立平坡，徘徊觀望，臉布愁雲。有自題詩曰：
秋來紈扇合收藏，
何事佳人重感傷；
請把世情詳細看，
大都誰不逐炎涼。
這首詩寫得詩情畫意，寓意深邃，反映出唐寅飽經人世滄桑，鬱郁不得
志的感慨。
唐寅畫名雖高，到了晚年，生活更加艱難。明武宗正德十三年，四十九歲的他是這樣形容自己的：
青山白髮老痴頑，
筆硯生涯苦食艱；
湖上水田人不要，
誰來買我畫中山。
名重一時的大畫家落到如此悲慘的境地，令人同情，令人憤然。他，在如此境況下，只活到了54歲，就與世長辭了。
他的詩、書、畫，均有卓越成就，尤其繪畫，他于山水、人物、花鳥，均堪稱第一流。他廣學眾師，博採眾長，工寫兼顧，兼容並包，獨創一派；他那行筆秀潤縝密而又有韻度的畫風，獨樹一幟。