徐悲鴻公元1895年生於宜興縣一個窮教書的人家。早年的生活甚為艱苦，1942年他在一幅作品題詩中曾說“少小也曾錐刺股”，以此來形容他年輕時的生活艱難。
徐悲鴻的父親是位半耕半讀的村塾老師，同時也是位鄉間畫師。徐悲鴻六歲開始跟父親讀書，七歲時因為常常看見父親畫畫，對畫畫發生興趣，那時就想學畫。他父親認為七歲的孩子年紀太小，不肯教他;但是他念書念到卞莊子刺虎的故事，就偷偷地求人畫一隻老虎，自己依著樣子描繪。父親知道兒子實在喜歡畫，在他九歲的時候，就讓他每天摹一幅當時流行的《吳友如畫本》，這就是徐悲鴻學畫的開始。
徐悲鴻在十歲的時候就能幫他的父親在畫上不重要的部分添染顏色。但生活的艱難，僅僅十七歲，他便輟學到一家中學裡教圖畫來幫助家用。十九歲那年，他的父親逝去，家裡負債很多，弟妹也要供養，他那時只得在縣裡三家學校擔任教課來解決全家的生活。
沉重的家庭擔子壓不住他上進的決心，為了學美術，他來到上海。他曾企圖把畫寄給當時的《小說月報》，以求換得買米之錢，但卻被無情退回。他那時寄居在一家賭場裡，白天用功，晚上等客人散了，才攤開鋪蓋在賭桌上睡覺。那時，他常常吃不到飯，也找不到工作。——徐悲鴻甚至為此有過自殺的念頭，據他後來回憶，他曾經狂奔到黃浦江邊，想要結束自己的生命。混濁而奔騰的汗水洶湧地衝擊著江岸，輪船的汽笛尖銳地吼叫著，他解開衣襟，讓無情的風剛打入他年輕的胸脯上。當一陣寒冷的顫慄從腳跟慢慢傳遞到全身時，他才清醒地認識到：“一個人到了山窮水盡的地步而能自拔，才不算懦弱呵!”
1915年，當人們都在用鑼鼓爆竹迎接新年的時候，青年徐悲鴻卻餓著肚子給一家叫做“審美書館”的出版社，用顏色填染單色印刷的雜誌封面(那時印刷術落後，沒有彩色印刷，雜誌封面是僱人用手工填色的。審美書館的主辦人，就是著名的嶺南畫派導師高劍父、高奇峰兄弟)。等拿到報酬，他的肚子已經空了好幾天了。
1916年，徐悲鴻考進震旦學院，攻讀法文。他是穿著死了父親的喪服，噙著眼淚踏進了這個學校的。
徐悲鴻的作品逐漸受到社會的注意。除了高劍父兄弟外，當時的文化名人康有為、蔡元培等也給予他鼓勵和幫助。1917年，二十二歲的青年徐悲鴻已經被聘為北京大學畫法研究會的導師，又得到北洋政府的教育總長、大學者傅增湘(沅叔)先生的幫助，派他到法國去留學。可是出國不久，因為內戰，他的經濟來源就斷絕了。他經常乾麵包就白開水度日，並且不間斷地從事每天十小時以上的勞作。他用功鍛鍊素描，臨摹古代的名畫，並努力於國畫和油畫的創作，還給書店畫書籍插圖及寫一些散稿來維持生活。
由於徐悲鴻曾經經歷過艱苦的遭際，所以在他後來的一生中，凡是遇到年輕有為、肯用功吃苦的人，或窮苦無告的人，他總是給予莫大的同情，並且盡一切可能去幫助和鼓勵他。1928年，他給當時的福建當局畫了一幅壁畫，畫好後他辭謝了給他個人的金錢報酬，卻提出要福建省派送兩個青年出國學習藝術。這兩個青年一位是油畫家呂斯百，一位是雕刻家王臨乙，二人後來學成歸國，對我國藝術都卓有貢獻。
30年代初，徐悲鴻游江西南昌，發現一位默默無聞的年輕人，在報刊上發表有關中國美術史的文章，很有見解，就約見了他，並替他寫信向那時的江西省長熊式暉推薦，後於1933年將其派遣到日本留學。這位年輕人就是其後名滿天下的畫家傅抱石。