源賀，自署河西王禿髮傉檀之子也。傉檀為乞伏熾磐所滅，賀自樂都來奔。賀偉容貌，善風儀。世祖素聞其名，及見，器其機辯，賜爵西平侯，加龍驤將軍。謂賀曰："卿與朕源同，因事分姓，今可為源氏。"從擊叛胡白龍，又討吐京胡，皆先登陷陳。進號平西將軍。
世祖征涼州，以賀為鄉導。詔問攻戰之計。賀對曰："姑臧城外有四部鮮卑，各為之援。然皆是臣祖父舊民，臣願軍前宣國威信，示其福禍，必相率歸降。外援既服，然後攻其孤城，拔之如反掌耳。"世祖曰："善。"於是遣賀率精騎歷諸部招慰，下三萬餘落，獲雜畜十餘萬頭。及圍姑臧，由是無外慮，故得專力攻之。涼州平，遷征西將軍，進號西平公。又從征蠕蠕，擊五城、吐京胡，討蓋吳諸賊，皆有功。拜散騎常侍。從駕臨江，為前鋒大將。賀為人雄果，每遇強寇，輒自奮擊。世祖戒之曰："兵凶戰危，不宜輕犯；卿可運籌處分，勿恃身力也。"賀本名破羌，是役也，世祖曰；"人之立名，宜其得實，何可濫也？"賜名賀焉。拜殿中尚書。
南安王余為宗愛所殺也，賀部勒禁兵，靜遏外內，與南部尚書陸麗決議定策，翼戴高宗。令麗與劉尼馳詣苑中，奉迎高宗，賀守禁中為之內應。俄而麗抱高宗單騎而至，賀乃開門。高宗即位，社稷大安，賀有力焉。轉征北將軍，加給事中，以定策之勛，進爵西平王。高宗即位，班賜百僚，謂賀曰："朕大齎善人，卿其任意取之，勿謙退也。"賀辭，固使取之，賀唯取戎馬一匹而已。
是時，斷獄多濫，賀上書曰："案律：謀反之家，其子孫雖養他族，追還就戮，所以絕罪人之類，彰大逆之辜；其為劫賊應誅者，兄弟子姪在大遠，道隔關津，皆不坐。竊惟先朝制律之意，以不同謀，非絕類之罪，故特垂不死之詔。若年十三已下，家人首惡，計謀所不及，愚以為可原其命，沒入縣官。"高宗納之。出為征南將軍、冀州刺史，改封隴西王。賀上書曰："臣聞：人之所寶，莫寶於生全；德之厚者，莫厚於宥死。然犯死之罪，難以盡恕，權其輕重，有可矜恤。今勁寇遊魂於北，狡賊負險於南，其在疆場，猶須防戍。臣愚以為自非大逆、赤手殺人之罪，其坐贓及盜與過誤之愆應入死者，皆可原命，謫守邊境。是則已斷之體，更受全生之恩；徭役之家，漸蒙休息之惠。刑措之化，庶幾在茲。《虞書》曰'流宥五刑'，此其義也。臣受恩深重，無以仰答，將違闕庭，豫增繫戀，敢上瞽言，唯加裁察！"高宗納之。已後入死者，皆恕死徙邊。久之，高宗謂群臣曰："源賀勸朕宥諸死刑，徙棄北番諸戍，自爾至今，一歲所活殊為不少，生濟之理既多，邊戍之兵有益。卿等事朕，致何善意也？苟人人如賀，朕治天下復何憂哉！顧憶誠言，利實廣矣。"群臣鹹曰："非忠臣不能進此計，非聖明不能納此言。"
賀之臨州，鞫獄以情，徭役簡省。武邑郡奸人石華告沙門道可與賀謀反，有司有聞。高宗謂群臣曰；"賀誠心事國，朕為卿等保之，無此明矣。"乃精加訊檢，華果引誣。於是遣使者詔賀曰"卿以忠誠款至，著自先朝，以丹青之潔而受蒼蠅之汙。朕登時研檢，已加極法，故遣宣意。其善綏所蒞，勿以囂謗之言致損慮也。"賀上書謝。書奏，高宗顧謂左右曰："以賀之忠誠，尚致其誣，不若是者，可無慎乎！"時考殿最，賀治為第一，賜衣馬器物，班宣天下。賀上表請代，朝議以賀得民情，不許。在州七年，乃徵拜太尉。
蠕蠕寇邊，賀從駕追討，破之。顯祖將傳位於京兆王子推，時賀都督諸軍屯漠南，乃馳傳徵賀。賀既至，乃命公卿議之。賀正色固執不可。即詔賀持節奉皇帝璽綬以授高祖。
是歲，河西敕勒叛，遣賀率眾討之，降二千餘落。倍道兼行，追賊黨郁朱於等至枹罕，大破之，斬首五千餘級，虜男女萬餘口、雜畜三萬餘頭。復追統萬、高平、上邽三鎮叛敕勒至於金城，斬首三千級。賀依古今法及先儒耆舊之說，略采至要，為十二陳圖以上之。顯祖覽而嘉焉。
賀以年老辭位，詔不許。又詔都督三道諸軍，屯於漠南。是時，每歲秋冬，遣軍三道並出，以備北寇，至春中乃班師。賀以勞役京都，又非御邊長計，乃上言："請募諸州鎮有武健者三萬人，復其徭賦，厚加賑恤，分為三部。二鎮之間築城，城置萬人，給強弩十二床，武衛三百乘。弩一床，給牛六頭。武衛一乘，給牛二頭。多造馬槍及諸器械，使武略大將二人以鎮撫之。冬則講武，春則種殖，並戍並耕，則兵未勞而有盈畜矣。又於白道南三處立倉，運近州鎮租粟以充之，足食足兵，以備不虞，於宜為便。不可歲常舉眾，連動京師，令朝庭恆有北顧之慮也。"事寢不報。