在神仙居脚下藏着一个桐江书院，被誉为“江南第一书院”。四合院结构的建筑，湖水碧绿，四周树木环绕。是江南保存最为完好的一座书院，也是仙居历史最早的书院之一。书院内的建筑和环境颇有些江南园林的风格，粉墙黛瓦，翘角飞檐。
书院内设有两个展馆，介绍了我国古代监察制度的历史沿革。通过这些文字图片能了解到“江南第一书院”深厚的文化传承。
在书院后侧，有一潭湖水，名曰“鉴湖”，湖水环绕书院，名为“桐江”，而湖水环绕之处，遍植树木，还有江南特色的亭台楼阁，真令人赏心悦目。