卅六鴛鴦館是西花園的主體建築，精美華麗，南部叫“十八曼陀羅花館”，北部叫“卅六鴛鴦館”。一座建築同時有兩個名字，這是古建築中的一種鴛鴦廳形式，以屏風、罩、紗槅將一座大廳分為兩部，梁架一面用扁料, 一面用圓料，似兩進廳堂合併而成，其作用是南半部宜於冬、春，北半部宜於夏、秋。鴛鴦廳面闊三間，外觀為硬山頂，平面呈方形，四隅均建有四角攢尖的精巧耳房，又叫暖閣。北半部挑出於水面，由8根石柱撐住館體架於池上。館之中央的銀杏木雕玻璃屏將大廳一隔為二。北廳（後廳）臨清池，夏、秋時推窗可見荷池中芙蕖浮動，鴛鴦戲水，東漢時大將軍霍光“（在）園中鑿大池，植五色睡蓮，養鴛鴦卅六對，望之燦若披錦”，館名取其意。
綠意紅情，春風夜雨；
高山流水，琴韻書聲。
——林散之題卅六鴛鴦館
綠意紅情，春風裊娜；
高山流水，琴調相思。
——高邕題卅六鴛鴦館
燕子來時，細雨滿天風滿園；
闌乾倚處，青梅如豆柳如煙。
——張履謙集歐陽修詞題卅六鴛鴦館