조선 후기의 선비화가인 공재 윤두서(1668∼1715)가 살던 집이라고 한다. 윤두서는 겸재 정선, 현재 심사정과 함께 조선 후기의 3재로 일컬어지며, 고산 윤선도(1587∼1671)의 증손자이다. 윤선도가 풍수지리상 명당터에 이 집을 지었으나, 바닷바람이 심해 다른 곳으로 옮기고 증손인 윤두서가 살게 되었다고 한다.

지은 시기는 정확하지 않으나, 현종 11년(1670)에 지어 후에 윤두서가 살게 되었고 순조 11년(1811)에 수리한 것으로 보인다. 지을 당시에는 문간채와 사랑채 등 48칸 규모였다고 하나, 지금은 안채와 곳간채·헛간·사당만이 남아있다.

ㄷ자형의 안채는 지붕 옆면이 사람 인'(人)'자 모양인 맞배지붕집이고, 북서쪽에 위치한 광의 남측지붕은 앞면이 사다리꼴 모양인 우진각지붕이다. 바닷바람의 영향을 막고자 지붕을 높이 쳐들지 않고 푹 덮었으며, 벽은 방의 용도에 따라 회벽과 판자벽을 조성하였다.

문인화가의 옛집으로 조선 후기의 건축수법이 잘 남아있는 유서깊은 전통주택이며, 인근마을에 해남 윤씨의 기와집 10세대가 있어 더욱 옛스러운 정취를 풍기고 있다.