文藝復興時期，歐洲的幾何學得到了廣泛的發展，形成了運用代數解決幾何問題的解析幾何學說。
16世紀末以後，西方幾何學陸續傳入中國，與我國古代算術相結合，使中國數學研究出現一個中西融合貫通的局面；鴉片戰爭以後，近代數學開始傳入中國，中國數學便轉入一個以學習古代算術，幾何學以及西方現代數學為主的時期。
1582年，義大利傳教士利瑪竇到中國，1607年以後，他先後與徐光啟翻譯了《幾何原本》前六卷、《測量法義》一卷，與李之藻編譯《圜容較義》和《同文算指》。1629年，徐光啟被禮部任命督修曆法，在他主持下，編譯《崇禎曆書》137卷。《崇禎曆書》主要是介紹歐洲天文學家第谷的地心說。作為這一學說的數學基礎，希臘的幾何學，歐洲玉山若干的三角學，以及納皮爾算籌、伽利略比例規等計算工具也同時介紹進來。
在傳入的西方數學中，影響最大的是《幾何原本》。《幾何原本》是中國第一部數學翻譯著作，絕大部分數學名詞都是首創，其中許多至今仍在沿用。徐光啟認為對它“不必疑”、“不必改”，“舉世無一人不當學”。《幾何原本》是明清兩代數學家必讀的數學書，對他們的研究工作頗有影響。
清初學者研究中西數學有心得而著書傳世的很多，影響較大的有王錫闡《圖解》、梅文鼎《梅氏叢書輯要》(其中數學著作13種共40卷)、年希堯《視學》等。梅文鼎是集中西數學之大成者。他對傳統數學中的線性方程組解法、勾股形解法和高次冪求正根方法等方面進行整理和研究，使瀕於枯萎的明代數學出現了生機。年希堯的《視學》是中國第一部介紹西方透視學的著作。
清康熙皇帝十分重視西方科學，他除了親自學習天文數學外，還培養了一些人才和翻譯了一些著作。雍正即位以後，對外閉關自守，導致西方科學停止輸入中國，對內實行高壓政策，致使一般學者既不能接觸西方數學，又不敢過問經世致用之學，因而埋頭於究治古籍。乾嘉年間逐漸形成一個以考據學為主的乾嘉學派。
隨著《算經十書》與宋元數學著作的收集與注釋，出現了一個研究傳統數學的高潮。其中能突破舊有框框並有發明創造的有焦循、汪萊、李銳、李善蘭等。他們的工作，和宋元時代的代數學比較是青出於藍而勝於藍的；和西方代數學比較，在時間上晚了一些，但這些成果是在沒有受到西方近代數學的影響下獨立得到的。
1840年鴉片戰爭以後，西方近代數學開始傳入中國。首先是英人在上海設立墨海書館，介紹西方數學。第二次鴉片戰爭後，曾國藩、李鴻章等官僚集團開展“洋務運動”，也主張介紹和學習西方數學，組織翻譯了一批近代數學著作。在這些譯著中，創造了許多數學名詞和術語，至今還在套用，但所用數學符號一般已被淘汰了。戊戌變法以後，各地興辦新法學校，上述一些著作便成為主要教科書。
在翻譯西方數學著作的同時，中國學者也進行一些研究，寫出一些著作，較重要的有李善蘭的《尖錐變法解》、《考數根法》；夏彎翔的《洞方術圖解》、《致曲術》、《致曲圖解》等等，都是會通中西學術思想的研究成果。
由於輸入的近代數學需要一個消化吸收的過程，加上清末統治者十分腐敗，在太平天國運動的衝擊下，在帝國主義列強的掠奪下，焦頭爛額，無暇顧及數學研究。直到1919年五四運動以後，中國近代數學的研究才真正開始。