垣崇祖，字敬遠，下邳人也。族姓豪強，石虎世，自略陽徙之於鄴。曾祖敞，為慕容德偽吏部尚書。祖苗，宋武征廣固，率部曲歸降，仍家下邳，官至龍驤將軍、汝南新蔡太守。父詢之，積射將軍，宋孝武世死事，贈冀州刺史。
崇祖年十四，有幹略，伯父豫州刺史護之謂門宗曰："此兒必大成吾門，汝等不及也。"刺史劉道隆闢為主簿，厚遇之。除新安王國上將軍。景和世，道隆求出為梁州，啟轉崇祖為義陽王征北行參軍，與道隆同行，使還下邳召募。
明帝立，道隆被誅。薛安都反，明帝遣張永、沈攸之北討，安都使將裴祖隆、李世雄據下邳。祖隆引崇祖共拒戰，會青州援軍主劉彌之背逆歸降，祖隆士眾沮敗，崇祖與親近數十人夜救祖隆，與俱走還彭城。虜既陷徐州，崇祖仍為虜將游兵琅邪間不復歸，虜不能制。密遣人於彭城迎母，欲南奔，事覺，虜執其母為質。崇祖妹夫皇甫肅兄婦，薛安都之女，故虜信之。肅仍將家屬及崇祖母奔朐山，崇祖因將部曲據之，遣使歸命。太祖在淮陰，板為朐山戍主，送其母還京師，明帝納之。
朐山邊海孤險，人情未安。崇祖常浮舟舸於水側，有急得以入海。軍將得罪亡叛，具以告虜。虜偽圂城都將東徐州刺史成固公始得青州，聞叛者說，遣步騎二萬襲崇祖，屯洛要，去朐山城二十里。崇祖出送客未歸，城中驚恐，皆下船欲去。崇祖還，謂腹心曰："賊比擬來，本非大舉，政是承信一說，易遣誑之。今若得百餘人還，事必濟矣。但人情一駭，不可斂集。卿等可急去此二里外大叫而來，唱'艾塘義人已得破虜，須戍軍速往，相助逐退'。"船中人果喜，爭上岸。崇祖引入據城，遣羸弱入島，令人持兩炬火登山鼓叫。虜參騎謂其軍備甚盛，乃退。崇祖啟明帝曰："淮北士民，力屈胡虜，南向之心，日夜以冀。崇祖父伯並為淮北州郡，門族布在北邊，百姓所信，一朝嘯吒，事功可立。第名位尚輕，不足威眾，乞假名號，以示遠近。"明帝以為輔國將軍、北琅邪蘭陵二郡太守。亡命司馬從之謀襲郡，崇祖討捕斬之。數陳計算，欲克復淮北。時虜聲當寇淮南，明帝以問崇祖。崇祖因啟："宜以輕兵深入，出其不意，進可立不世之勛，退可絕其窺窬之患。"帝許之。崇祖將數百人入虜界七百里，據南城，固蒙山，扇動郡縣。虜率大眾攻之，其別將梁湛母在虜，虜執其母，使湛告部曲曰："大軍已去，獨住何為！"於是眾情離阻，一時奔退。崇祖謂左右曰："今若俱退，必不獲免。"乃住後力戰，大敗追者而歸。以久勞，封下邳縣子。泰豫元年，行徐州事，徙戍龍沮，在朐山南。崇祖啟斷水注平地，以絕虜馬。帝以問劉懷珍，雲可立。崇祖率將吏塞之，未成。虜主謂偽彭城鎮將平陽公曰："龍沮若立，國之恥也，以死爭之。"數萬騎掩至。崇祖馬槊陷陣不能抗，乃築城自守。會天雨十餘日，虜乃退。龍沮竟不立。歷盱眙、平陽、東海三郡太守，將軍如故。轉邵陵王南中郎司馬，復為東海太守。
初，崇祖遇太祖於淮陰，太祖以其武勇，善待之。崇祖謂皇甫肅曰："此真吾君也！吾今逢主矣，所謂千載一時。"遂密布誠節。元徽末，太祖憂慮，令崇祖受旨即以家口托皇甫肅，勒數百人將入虜界，更聽後旨。會蒼梧廢，太祖召崇祖領部曲還都，除游擊將軍。沈攸之事平，以崇祖為持節、督兗青冀三州諸軍事，累遷冠軍將軍、兗州刺史。太祖踐阼，謂崇祖曰："我新有天下，夷虜不識運命，必當動其蟻眾，以送劉昶為辭。賊之所沖，必在壽春。能制此寇，非卿莫可。"徙為使持節、監豫司二州諸軍事、豫州刺史，將軍如故。封望蔡縣侯，七百戶。
建元二年，虜遣偽梁王郁豆眷及劉昶馬步號二十萬，寇壽春。崇祖召文武議曰："賊眾我寡，當用奇以制之。當修外城以待敵，城既廣闊，非水不固，今欲堰肥水卻淹為三面之險，諸君意如何？"眾曰："昔佛狸侵境，宋南平王士卒完盛，以郭大難守，退保內城。今日之事，十倍於前。古來相承，不筑肥堰，皆以地形不便，積水無用故也。若必行之，恐非事宜。"崇祖曰："卿見其一，不識其二。若舍外城，賊必據之，外修樓櫓，內築長圍，四周無礙，表里受敵，此坐自為擒。守郭築堰，是吾不諫之策也。"乃於城西北立堰塞肥水，堰北起小城，周為深塹，使數千人守之。崇祖謂長史封延伯曰："虜食而少慮，必悉力攻小城，圖破此堰。見塹狹城小，謂一往可克，當以蟻附攻之。放水一激，急逾三峽，事窮奔透，自然沈溺。此豈非小勞而大利邪？"虜眾由西道集堰南，分軍東路肉薄攻小城。崇祖著白紗帽，肩輿上城，手自轉式。至日晡時，決小史埭。水勢奔下，虜攻城之眾，漂墜塹中，人馬溺死數千人，眾皆退走。初，崇祖在淮陰見上，便自比韓信、白起，鹹不信，唯上獨許之，崇祖再拜奉旨。及破虜啟至，上謂朝臣曰："崇祖許為我制虜，果如其言。其恆自擬韓、白，今真其人也。"進為都督號平西將軍，增封為千五百戶。崇祖聞陳顯達李安民皆增給軍儀，啟上求鼓吹橫吹。上敕曰："韓、白何可不與眾異！"給鼓吹一部。