Olberg kirke ble solgt til kammerråd Lars Moss 1723 sammen med de øvrige kirker i Sigdal prestegjeld. Samme år kjøpte Iver Olssøn Kolsrud i Sigdal samtlige kirker. Etter hans enkes død 1777 kjøpte almuen kirkene tilbake.
Den elsdte kirken her var en stavkirke. Den ble revet umiddelbart etter at den nåværende kirken ble innviet 1859. Tuften etter den gamle kirken, som lå litt nærmere stranden, lå uryddet høsten 1860 og skal fremdeles være synlig i 1880-årene. Mellom kirken og prestegården Bjertnes står den gamle, fredede ek "Den gamle mester". Her var det tidligere en kilde, som hadde ry for helsebringende vann. Kilden er nå nærmest ødelagt.

Stavkirken:
Stavkirkens opprinnelige form er det vanskelig å bringe på det rene. Av en besiktigelsesforretning 1724 kan man få inntrykk av at kjernebygget på den tid var en stavbygning som var 8 alen bred og 9 alen lang (ca. 5,0x5,60m). Dette kan oppfattes som kirkens opprinnelige skip. Det er mulig at kirken også hadde et smalere kor opprinnelig. De som besiktiget kirken har tydeligvis gjort seg tanker om bygningshistorien. Det heter at kirken "...af gl. tiid er opsatt af træ reise værch hvis lengde da førts ikkun har værit 9 al. lang, som øiensiunlig kunde sees, thi de første Pilarer som er Kirchens Reisning wiiser at indfældningen til Kirchens Lukelse saa haar været i fra dend øfverste og nederste Ende. Mens siden er dend med liigesaa-dand Reise Værk tilbygget uden for til stoore Kierkedøren, og oven for som nu er Korit, at dend er i ald sin lengde 20 al: og i dends brede 8 al:..."

Kirken fra 1859:
Planen om å bygge en ny og større kirke for Krødsherad ble på ny tatt opp i 1850-årene. I 1853 ble Jørgen Moe prest i bygden, og allerede samme år fremmet han plan om ny kirke overfor formannskapet, som ga planen sin tilslutning og nedsatte et utvalg til å forberede bygging av ny kirke.
Kirken består av en stor, rektangulær langbygning med sadeltak. Midt på hver langside er bygget opp en kort tverrarm. Inntil østre kortvegg står et sakristi, og ved vestveggen er et kraftig vesttårn. Dette er oppført av bindingsverk, mens kirkens øvrige vegger er laftet opp av tømmer. Hver av langveggene avstives av to par strekkfisk. Strekkfiskene korresponderer med en østre og en vestre drager som spenner tvert over kirkerommet. Dragerne understøttes av 4 frittstående stolper som hviler på kirkegulvet. Østre stolperekke markerer skillet mellom skip og kor, og korgulvet er hevet 3 trinn over skipets. En lav gjennombrutt brystning med diagonalt stilte spiler og firpassornamenter i fyllingene markerer korskillet. Stolpene er utformet som slanke, gotiske stensøyler med 8-kantet tverrsnitt. Ca. 1,5m under drageren er de utstyrt med et gotiserende kapitél med 8 bladknoller under en profilert abakusplate. Dragerne understøttes av profilerte spissbuer som springer fra kapitélene. Undersiden av de profilerte buene er prydet med en fremspringende buebord. I sviklene over buene er det gjennombrutte fiskeblæreornamenter. Stolperekken som understøtter vestre drager er utformet på tilsvarende måte. Disse stolper bærer vestgalleriet, hvis brystning er utformet som korskillebrystning.
Tverrarmene åpner seg mot skipet i full bredde. I åpningen står to stolper som understøtter skipets gjennomgående raftestokk.
Kirken har vannrett himling lagt som kasettetak som dannes av loftsbjelkene, langsgående loftsbjelker og utforinger med profilerte bord. Tømmerveggene har innvendig panel av falsede sammenpløyde bord, skyggepanel, utvendig kledning av bord med samme profil. Den utvendige bordkledning avsluttes nedentil over den pussede grunnmuren mot et kraftig vannbrett, som springer langt nok frem til å oppta strekkfiskene og hjørnekassene. Oventil avsluttes paneletmot en gesimskasse som går frem i flukt med strekkfisk og hjørnekasser, og sammen rammer disse ledd inn veggfeltene. Hvert av langveggenes 4 felter har ett rektangulært vindu som deles i 4 høye felter av 3 poster. Feltene deles i småruter av vannrette sprosser, og øverste rute har spissbueform og rødt glass i sviklene over buen.
Kirkens sadeltak bæres av sperrer som hviler på loftsbjelkenes ender. Bordtaket er lagt på strøbord og er tekket med røde tegl. Hvert sperrebind avstives med en hanebjelke som understøttes av to par vertikalstøtter fra dragere som ligger over loftsbjelkene.
Vesttårnet har et underbygg som er litt høyere enn kirkens møne og en klokkestue hvis vegger er trukket ca. 30cm inn fra underbyggets. Klokkestuens 4 vegger avsluttes med gavler som bærer hvitmalte kors. De 4 gavlene avdekkes med tverrstilte sadeltak. Over krysset sitter en høy, 8-kantet hjelm som bærer spirstang av jern med kule, fløy og kors.