奚斤，代人也，世典馬牧。父簞，有寵於昭成皇帝。時國有良馬曰"騧騮"，一夜忽失，求之不得。後知南部大人劉庫仁所盜，養於窟室。簞聞而馳往取馬，庫仁以國甥恃寵，慚而逆擊簞。簞捽其發落，傷其一乳。及苻堅使庫仁與衛辰分領國部，簞懼，將家竄於民間。庫仁求之急，簞遂西奔衛辰。及太祖滅衛辰，簞晚乃得歸，故名位後於舊臣。斤機敏，有識度。登國初，與長孫肥等俱統禁兵。後以斤為侍郎，親近左右。從破慕容寶於參合。皇始初，從征中原，以斤為征東長史，拜越騎校尉，典宿衛禁旅。車駕還京師，博陵、勃海、章武諸郡，群盜並起，所在屯聚，拒害長吏。斤與略陽公元遵等率山東諸軍討平之。從征高車諸部，大破之。又破庫狄、宥連部，徙其別部諸落於塞南。又進擊侯莫陳部，俘虜獲雜畜十餘萬，至大峨谷，置戍而還。遷都水使者，出為晉兵將軍，幽州刺史，賜爵山陽侯。
太宗即位，為鄭兵將軍，循行州郡，問民疾苦。章武民劉牙聚黨為亂，斤討平之。詔以斤世忠孝，贈其父簞為長寧子。太宗幸雲中，斤留守京師。昌黎王慕容伯兒收合輕俠失志之徒李沈等三百餘人謀反，斤聞而召伯兒入天文殿東廡下，窮問款引，悉收其黨誅之。詔與南平公長孫嵩等俱坐朝堂，錄決囚徒。太宗大閱於東郊，治兵講武，以斤行左丞相，大搜於石會山。車駕西巡，詔斤為先驅，討越勒部於鹿那山，大破之，獲馬五萬匹，牛羊二十萬頭，徙二萬餘家而還。又詔斤與長孫嵩等八人，坐止車門右，聽理萬機。蠕蠕犯塞，令斤等追之。事具《蠕蠕傳》。拜天部大人，進爵為公，命斤出入乘軺軒，備威儀導從。世祖之為皇太子，臨朝聽政，以斤為左輔。
劉義符立，其大臣不附，國內離阻。乃遣斤收劉裕前侵河南地，假斤節，都督前鋒諸軍事、司空公、晉兵大將軍、行揚州刺史，率吳兵將軍公孫表等南征。用表計攻滑台，不拔，求濟師。太宗怒其不先略地，切責之。乃親南巡，次中山。義符東郡太守王景度捐城遁走，司馬楚之等並遣使詣斤降。斤自滑台趣洛陽，義符虎牢守將毛德祖遣其司馬翟廣、將軍姚勇錯、竇霸等率五千人據土樓以拒斤，斤進擊，破之。廣等單馬走免，盡殪其眾。斤長驅至虎牢，軍於汜東。留表守輜重，自率輕兵徇下河南、潁川、陳郡以南，百姓無不歸附。義符陳留太守嚴棱以郡降。斤遂平兗豫諸郡，還圍虎牢。德祖拒守不下。及虎牢潰，斤置守宰以撫之。自魏初，大將行師，唯長孫嵩拒劉裕，斤征河南，獨給漏刻及十二牙旗。太宗崩，斤乃班師。
世祖即位，進爵宜城王，仍為司空。世祖征赫連昌，遣斤率義兵將軍封禮等督四萬五千人襲蒲坂。昌守將赫連乙升聞斤將至，遣使告昌。使至統萬，見大軍已圍其城，還告乙升曰："昌已敗矣。"乙升懼，棄蒲坂西走。斤追敗之，乙升遂奔長安。斤入蒲坂，收其資器，百姓安業。昌弟助興，先守長安，乙升至，復與助興棄長安，西走安定，斤又西據長安。於是秦雍氐羌皆來歸附。與赫連定相持，累戰破定。定聞昌敗，遂走上邽，斤追之，至雍，不及而還。詔斤班師，斤上疏曰："赫連昌亡保上邽，鳩合餘燼，未有盤據之資。今因其危，滅之為易。請益鎧馬，平昌而還。"世祖曰："昌亡國叛夫，擊之勞傷將士，且可息兵，取之不晚。"斤抗表固執，乃許之。給斤萬人，遣將軍劉拔送馬三千匹與斤。斤進討安定，昌退保平涼。斤屯軍安定，以糧竭馬死，遂深壘自固。監軍侍御史安頡擊昌，擒之。語在《頡傳》。
昌眾復立昌弟定為主，守平涼。斤自以元帥，而擒昌之功，更不在己，深恥之。乃舍輜重，輕齎三日糧，追定於平涼。娥清欲尋水而往，斤不從，自北道邀其走路。定眾將出，會一小將有罪亡入賊，具告其實。定知斤軍無糧乏水，乃邀斤前後。斤眾大潰，斤及娥清、劉拔為定所擒，士卒死者六七千人。後世祖克平涼，斤等得歸。免為宰人，使負酒食從駕還京師以辱之。
尋拜安東將軍，降爵為公。車駕將討馮文通，詔斤發幽州民及密雲丁零萬餘人，運攻具出南道。太延初，為衛尉，改為弘農王，加征南大將軍。後為萬騎大將軍。
世祖大集群臣於西堂，議伐涼州平。斤等三十餘人議曰："河西王牧犍，西垂下國，雖內不純臣，而外修職貢，宜加寬宥，恕其微愆。去歲新征，士馬疲弊，未可大舉，宜且羈縻。其地鹵薄，略無水草，大軍既到，不得久停。彼聞軍來，必嬰城固守。攻則難拔，野無所掠，終無克獲。"世祖不從，征之。涼州平，以戰功賜僮隸七十戶。以斤元老，賜安車，平決刑獄，諮訪朝政。
斤聰辯強識，善於談論，遠說先朝故事，雖未皆是，時有所得。聽者嘆美之。每議大政，多見從用，朝廷稱焉。真君九年薨，時年八十。世祖親臨哀慟，謚曰昭王。斤有數十婦，子男二十餘人。
長子他觀襲爵。世祖曰："斤關西之敗，國有常刑。以其佐命先朝，故復其爵秩，將收孟明之效。今斤終其天年，君臣之分全矣。"於是降他觀爵為公，除廣平太守。後為都將，征懸瓠，卒于軍。