1979년 1월 23일 중요민속자료 제88호로 지정되었다. 1586년(선조 19) 화천(花川) 건너 부용대(芙蓉臺) 기슭에 세운 건물로 류영하가 소유·관리하고 있다. 조선 중기의 문신이며 학자인 류성룡은 학문 연구와 후진 양성을 위해 작은 서당을 세우고자 하였으나 가세가 빈곤하여 걱정하던 중 탄홍(誕弘) 스님이 10년 동안 곡식과 포목을 시주하여 완공하였다고 한다.

문간채·바깥채·안채·별당까지 두루 갖추고 있으며, 화천이 마을을 시계 방향으로 휘감아 돌다가 반대 방향으로 바꾸는 옥소(玉沼)의 남쪽에 있다. 소의 맑고 푸른 물빛을 따서 옥연정사라고 부른다.

문간채는 왼쪽 남쪽부터 차례로 측간과 대문을 두고 대문 오른쪽에 광을 3칸이나 둔 一자형이다. 바깥채는 정면 4칸, 측면 2칸의 건물로 정사각형의 4칸짜리 대청의 오른쪽·왼쪽으로 1칸 반의 방을 두어 대칭을 이루고 있다.

안채는 8칸 겹집형식으로 부엌이 중앙에 있고 방이 부엌을 중심으로 가로·세로 2칸씩 좌우에 배치되어 있다. 별당채는 바깥채와 안채 사이에 있는데 앞면 3칸·옆면 2칸으로 서쪽 모서리에 2칸 반의 방이 하나 있고 나머지는 마루로 되어 있다.

겸암 류운룡 선생의 학덕을 흠모한 유림이 이곳에 선생의 위패를 봉안하고 인재를 양성하기 위하여 정조 10년 (1786) 에 세운 서원이다.

정조 10년(1786)에 건립하여 9월에 겸암 류운룡 선생의 위패를 봉안하고 제자인 동리(東籬) 김윤안(金允安, 1560~1620) 공과 종손자인 졸재(拙齋) 류원지(柳元之, 1598~1674) 공을 배향시켰다. 이후 100여 년 이상 춘추로 향사를 지내오다가 대원군 서원철폐령에 의해 훼철되었다.

하지만 서원의 훼철을 아쉬워하던 후손들은 1966년부터 기금을 모아 건물을 짓고 사림들의 공론을 모아 1996년 5월 2일 복설고유(復設告由)를 거행하였다.