Gimė  Žilių k. Kunigas, kanauninkas, Kapitulos narys, prelatas, profesorius, istorikas, lietuviškos spaudos platintojas. Mokėsi Marijampolėje, Seinų kunigų seminarijoje, Varšuvos dvasinėje akademijoje. Įšv. 1856 II 2 d. 1857 - 1866 m. Seinų dvasinės seminarijos katedros vikaras. Labai trumpai buvo ir seminarijos rektorius. Buvo išvarytas 1866 m. iš Seinų – vikaravo Lipnikuose, Seinuose, Lukšiuose, Gelgaudiškyje. Lomžos gubernatorius vadino jį „pavojingu asmeniu“ – Seinuose dalyvavo mitinguose, eisenose, giedojo revoliucines giesmes, pamoksluose ragino žmones sukilti, tad ir negali užimti profesoriaus vietos seminarijoje. 1870 - 1878 m. klebonavo Griškabūdyje, išgrąžino bažnyčios išorę ir vidų, virš kurios durų liepė lietuviškai užrašyti „Namai mano. Namai maldos“. Ši įstabus užrašas išliko iki mūsų dienų. Padėjo išleisti „Šaltinio“ laikraštį ir įsteigti Seinuose spaustuvę. Padidino kleboniją, sutvarkė kapines. Vėliau, iki galo gyvenimo buvo dekanu ir klebonu Naumiestyje. Suremontavo bažnyčią. 1906 m. įsteigė „Žiburio“ draugijos skyrių Naumiestyje.

Prelatas labai mylėjo Zanavykų kraštą. Jis buvo gabus tvarkytis ekonomiškai, ūkiškai. Apie jo tvarką Naumiesčio parapijoje, toli sklido geri atsiliepimai, jis buvo dažnas ūkininkų suėjimuose. Labai domėjosi istorija, šeimų, pavardžių genealogija, jo žiniomis rėmėsi dr. prof. istorikas J. Totoraitis ir kt. Su juo ir lankėsi pas Ambrasų kaimo J. Kudirką, domėdamasis ir Kudirkų kilme. (Labai gaila, kad S. Olekos kaupti archyvai sudegė bombardavimo, gaisro metu bažnyčios bokšte).

Vienu metu pradėjo rašyti į kunigų laikraštį „Katalikų apžvalgą“, ėjusį lenkų kalba. Retas lietuvis kunigas rašė šiam laikraščiui.

Vienu metu vyskupas A. Baranauskas norėjo prelatą paskirti savo padėjėju, bet S. Oleka atsisakė ir tuo užsitraukė didelę vyskupo nemalonę. Į Naumiestį atkeltas 1878 m., po kun. J. Didžpinigaičio mirties ir išbuvo apie 40 metų. Mirė1920 02 05 d. ir palaidotas Naumiestyje. Apdovanotas šv. Onos ordinu.