「楷の木」は中国・孔子廟より持ち帰られ、移植された学問の木である。幹回りは約１ｍ、高さ１２．３ｍ。晩秋には左側の木が深紅色に、右側は黄色がかった淡紅色に紅葉し、その景観は毎年多くの観光客を魅了し続けている。

岡山藩主の池田光政が庶民教育の場とするため、重臣の津田永忠に命じて江戸時代前期の寛文11年（1671）に造らせたもので現在国宝となっている。また講堂は儒学の殿堂にふさわしい様式を備えている。