조선시대 지리지인 신증동국여지승람(1530년)의 부여현 성씨조에는 서씨가 부여의 토성으로 기록되어 있고, 고려시대 효자 서공(徐恭)의 일화가 있는 것으로 보아 부여서씨는 고려시대에 부여현의 유력한 성씨였던 것으로 보인다. 그렇다면 부여서씨가 육곡리에서는 언제부터 살았던 것일까. 후손들은 백제가 멸망할 때부터 육곡리 일대에 은거했을 것이라고 전하고 있으나, 그들의 구체적인 행적이 보이는 시기는 조선 초기 무렵이다.

처음 논산시 가야곡면 일대로 입향하였다고 전해지는 인물은 조선의 7대왕인 세조 시기 문관을 지냈던 서정수(徐貞壽)이다. 그가 가야곡면과 인연을 맺게 된 사연은 그의 묘비명에 자세히 기록되어 후손들에게 전해지고 있다.

서정수는 세조 때 영의정을 지내던 민효열(여흥민씨)의 딸과 혼인하여 과거 급제 후 예산현감으로 부임하였다. 그때는 마침 나라의 곳곳이 어려워 임금이 친히 금주령까지 내리던 때였다. 그런데 어느 날 세조가 자신의 피부병을 고치기 위해 온양 온천에 오게 되고 서정수의 장인 민효열이 이 행차를 따라나섰다.

당시 민효열은 나이가 많은데다 몸이 노쇠하여 임금의 행차를 따라 보필하기가 무척 어려운 때였다. 가까스로 약간의 술에 의지하며 억지로 길을 재촉했는데 왕이 직접 명령한 금주령 때문에 이마저도 여의치 않았다. 서정수는 장인의 어려운 처지를 못 본 척 할 수 없어 급기야 어두운 밤 몰래 술 한 그릇을 올리게 되었다. 그러나 이 일이 그만 발각되고 말았고, 그는 관직마저 내놓을 수밖에 없었다.

이 일로 갖은 고초를 겪은 서정수는 결국 유배를 가게 되고 유배지가 지금의 논산시 은진면과 가야곡면 일대였던 은진 땅이었다. 이렇게 좋지 않은 사연으로 맺은 인연이었지만 서정수는 고향인 부여와 가까웠던 이곳에 자신의 터전을 마련하고 부모님이 돌아가시자 현 가야곡면 두월리에 안장하였다. 또한 자신도 같은 하강마을에 묘를 안장하므로써 본격적으로 부여서씨들이 이곳에 자리를 잡게 되는 계기를 마련하였다.