魏、晉時期出現的玄學，不為漢儒經學束縛，思想比較活躍;它詰辯求勝，又能運用邏輯思維，分析義理，這些都有利於數學從理論上加以提高。吳國趙爽注《周髀算經》，漢末魏初徐岳撰《九章算術》注，魏末晉初劉徽撰《九章算術》注、《九章重差圖》都是出現在這個時期。趙爽與劉徽的工作為中國古代數學體系奠定了理論基礎。
趙爽是中國古代對數學定理和公式進行證明與推導的最早的數學家之一。他在《周髀算經》書中補充的“勾股圓方圖及注”和“日高圖及注”是十分重要的數學文獻。在“勾股圓方圖及注”中他提出用弦圖證明勾股定理和解勾股形的五個公式;在“日高圖及注”中，他用圖形面積證明漢代普遍套用的重差公式，趙爽的工作是帶有開創性的，在中國古代數學發展中占有重要地位。
劉徽約與趙爽同時，他繼承和發展了戰國時期名家和墨家的思想，主張對一些數學名詞特別是重要的數學概念給以嚴格的定義，認為對數學知識必須進行“析理”，才能使數學著作簡明嚴密，利於讀者。他的《九章算術》注不僅是對《九章算術》的方法、公式和定理進行一般的解釋和推導，而且在論述的過程中有很大的發展。劉徽創造割圓術，利用極限的思想證明圓的面積公式，並首次用理論的方法算得圓周率為 157/50和 3927/1250。
劉徽用無窮分割的方法證明了直角方錐與直角四面體的體積比恆為2:1，解決了一般立體體積的關鍵問題。在證明方錐、圓柱、圓錐、圓台的體積時，劉徽為徹底解決球的體積提出了正確途徑。
東晉以後，中國長期處於戰爭和南北分裂的狀態。祖沖之父子的工作就是經濟文化南移以後，南方數學發展的具有代表性的工作，他們在劉徽注《九章算術》的基礎上，把傳統數學大大向前推進了一步。他們的數學工作主要有：計算出圓周率在3.1415926～3.1415927之間;提出祖暅原理;提出二次與三次方程的解法等。
據推測，祖沖之在劉徽割圓術的基礎上，算出圓內接正6144邊形和正12288邊形的面積，從而得到了這個結果。他又用新的方法得到圓周率兩個分數值，即約率22/7和密率355/113。祖沖之這一工作，使中國在圓周率計算方面，比西方領先約一千年之久;
祖沖之之子祖暅總結了劉徽的有關工作，提出“冪勢既同則積不容異”，即等高的兩立體，若其任意高處的水平截面積相等，則這兩立體體積相等，這就是著名的祖暅公理。祖暅套用這個公理，解決了劉徽尚未解決的球體積公式。
隋煬帝好大喜功，大興土木，客觀上促進了數學的發展。唐初王孝通的《緝古算經》，主要討論土木工程中計算土方、工程分工、驗收以及倉庫和地窖的計算問題，反映了這個時期數學的情況。王孝通在不用數學符號的情況下，立出數字三次方程，不僅解決了當時社會的需要，也為後來天元術的建立打下基礎。此外，對傳統的勾股形解法，王孝通也是用數字三次方程解決的。
唐初封建統治者繼承隋制，656年在國子監設立算學館，設有算學博士和助教，學生30人。由太史令李淳風等編纂注釋《算經十書》，作為算學館學生用的課本，明算科考試亦以這些算書為準。李淳風等編纂的《算經十書》，對保存數學經典著作、為數學研究提供文獻資料方面是很有意義的。他們給《周髀算經》、《九章算術》以及《海島算經》所作的註解，對讀者是有幫助的。隋唐時期，由於曆法的需要，天算學家創立了二次函式的內插法，豐富了中國古代數學的內容。
算籌是中國古代的主要計算工具之一，它具有簡單、形象、具體等優點，但也存在布籌占用面積大，運籌速度加快時容易擺弄不正而造成錯誤等缺點，因此很早就開始進行改革。其中太乙算、兩儀算、三才算和珠算都是用珠的槽算盤，在技術上是重要的改革。尤其是“珠算”，它繼承了籌算五升十進與位值制的優點，又克服了籌算縱橫記數與置籌不便的缺點，優越性十分明顯。但由於當時乘除算法仍然不能在一個橫列中進行。算珠還沒有穿檔，攜帶不方便，因此仍沒有普遍套用。