국가유산청에 따르면 명종 때 경주 부윤 이정(1512~1571)이 지방 유림과 뜻을 모아 1563년(명종 18) 선도산 아래에 '서악정사'로 세웠다.[1] 임진왜란 때 불탄 뒤 1600년 서원 터의 초가에 위패를 모셨고, 1602년 사당(묘우), 1610년 강당과 재사를 다시 지었다. 1623년(인조 1) '서악'이라는 이름을 받은 사액 서원이 되었다.[2]
위패를 모신 사당, 강당인 조설헌, 유생이 머물던 시습당·절차헌, 누각인 영귀루, 제사 음식을 준비하던 전사청 등이 있다. '서악서원' 현판은 명필 원진해가 썼다. 흥선 대원군의 서원 철폐 때에도 없어지지 않고 남은 47개 서원 가운데 하나이며, 1975년 경상북도 기념물로 지정되었다.[1][2]