曹雪芹祖上明末前居住在今遼寧鐵嶺西南郊腰堡大汛河村一帶。在努爾哈赤的後金兵掠地時，曹雪芹的遠祖曹錫遠被後金的軍隊俘虜，給多爾袞當家奴，屬正白旗包衣（“包衣”即滿語“家奴”一詞譯音“包衣阿哈”的簡稱）。清朝建立以後，設立“內務府”，負責為皇帝管理財產、飲食、器用等各種生活瑣事和宮廷雜物，曹家成為“內務府”的成員。曹錫遠的兒子曹振彥因建立軍功，官至兩浙都轉運鹽使司鹽法道。從曹振彥的兒子曹璽和曹璽的長子曹寅，曹寅的長子曹顒和侄兒曹頫，三代四人相繼擔任江寧織造一職。織造的職務，主要為皇帝管理製造和採辦宮廷用品，但除此之外，還同時擔任替皇帝蒐集情報的工作，曹寅就經常向康熙密奏南方各方面的情況，包括政治、經濟、文化、思想、治安、民情等等。曹家幾代人擔任這一職務，表明他們跟皇帝有一種特殊親密的關係。曹璽的妻子孫氏做過康熙的保姆，，曹雪芹的祖父曹寅小時候曾做過康熙的伴讀，以後又擔任御前侍衛。曹寅在給康熙的奏摺中自稱“臣系包衣下賤”，說明曹家具有一種特殊的地位：對於皇帝來說是奴才，但對一般人來說，則是一個極為顯赫的大官僚，是屬於最高統治層中的成員。雍正繼位後，曹家遭受冷落，曹頫時受斥責。雍正五年(1727)末、六年(1728)初，曹因織造差員勒索驛站及虧空公款等罪，被下旨抄家，曹頫被“枷號”，曹寅遺孀與小輩等家口遷回北京，靠發還的崇文門外少量房屋度日。曹家從此敗落。
經歷這樣家族變遷的曹雪芹，因此而獲得對貴族之家種種黑暗與罪惡的深切體驗，這便成為他創作《紅樓夢》重要的生活基礎。