"I gamle tid laae Hallingdahl under Stavanger Bispestol, da var Torpe Hoved Kirken i Aals prestegield og Hemsedahl som nu ligger til Næs et Annex derunder" heter det i Herslebs Journal 1733. Et par aktstykker fra middelalderen tyder på at Torpo har hatt rang fremfor de andre kirker i Hallingdal. Av et diplom fra 1310 fremgår det at "sira Biarnar a Thorpom" i egenskap av korsbror i Stavanger satte kommunens segl under et testamente. På denne tid har presten i Torpo vært kannik knyttet til domkapitleti Stavanger mens en vikarius antagelig styrte kallet. I de pavelige nuntiers regnskaper for 1327-28 heter det at skatteoppkreverne hadde hjelp av "prepositus de Thorpom", hvilket tyder på at prosten hadde tilhold i Torpo på den tiden. Etter reformasjonen har Torpo vært anneks til Ål.
Ved kirkesalget 1723 ble kirken kjøpt av sogneprest Jacob Stockfleth. Hans to ettermenn i kallet, først Niels Ribe og derpå Hans Quam, overtok kirken etter ham. Senere var kirken mest eiet av bygdefolk. De to siste eiere, Inga Pleym og Birgit Tufte, solgte kirken til kommunen 1875.
En ny kirke ble bygget nord for den gamle 1880, og senere har de to kirker stått side om side på kirkegården.

Mulig eldre kirke
Når det er antatt at det har stått en eldre kirke i Torpo før stavkirkens tid, skyldes det at det er bevart et stykke av en eldre portalplanke. Den ble funnet da stavkirkens kor ble revet i 1880 og har antagelig sekundært som gulvplanke i apsis.

Stavkirken
Se egen side

Kirken fra 1880
Etter at kirkene var blitt kommunenes eiendom 1875, ble det drøftet flere planer for å gjøre stavkirken mere synlig. Det endte imidlertid med at en ny kirke ble bygget ved siden av den gamle i løpet av sommerhalvåret 1880. Den nye kirken ble innviet allerede 1. okt. samme år; den ble oppført av byggmester A. Keitel fra Moss på grunnlag av arkitekt F. von der Lippes tegning til kirke i Nedstrand. I 1960-årene utarbeidet arkitekt Fr. Konow Lund en plan for ombygging av kirken, men i stedet ble den restaurert etter planer utarbeidet av arkitek Per Helland-Hansen.
Kirken har et vesttårn, rektangulært skip og meget smalere kor, som har samme vegghøyde som skipet og polygonal avslutning mot øst. På korets sydside er et sakriati hvis sydvegg flukter med skipets sydvegg. Et tilsvarende rom for dåpsbarn på korets nodrside ble utvidet 1973-74. Kirken har grunnmur av bruddsten. Vesttårnet er reist som et selvstendig bygg av bindingsverk inntil vestsiden av kirken, som er laftet opp av tømmer. Både bindingsverksveggene og tømmerveggene er kledd med stående staffpanel utvendig. Innvendig var kirkens tømmervegger synlig opprinnelig, men nov. 1883 ble det besluttet at de skulle paneles. De har staffpanel, og skipet har brystningslist i høyde med vinduenes sålbenk. Skipets langvegger har to par strekkfisk som deler veggene i 3 like store felter, hvert med ett vindu. Vinduene er delt av tresprosser i 3x5 ruter og har trekantet overlys. Korets to halvt østvendte vegger har tilsvarende vindu, mens langveggene har mindre vindu av samme type over sakristitak. Tårnets vestportal har tofløyet fyllingsdør under sadeltak båret av knekter.
Innvendig har skipet to par frittstående stolper som står i flukt med korets langvegger. Stolpene korresponderer med strekkfiskene i skipets langvegger og understøtter to bjelker som spenner tvers over rommet. På bjelkene hviler sperrer som avstives med hanebjelke. Undersperrer som gå opp til hanebjelken bærer åser, og til undersiden av åsene er himlingen av staffpanel festet. En vertikalstøtte går fra mønet til den vannrette bjelken og avstives mot den med to bueknær. Tilsvarende bueknær er festet på bjelkens underside mot stolperadene og strekkfiskene. Et konstruksjonsskjelett med de samme ledd står på innsiden av skipets østvegg. Korets takstol understøttes av bueknær som krager ut fra veggene. Koret åpner seg i full bredde mot skipet og har trekantoverdekning noe under rafthøyde. Koråpningen deles i 3 av frittstående stolper som forbindes oventil med bueknær. Den midtre rundbue er bredere og høyere enn de to sidene.
Vesttårnets vegger har gavlkledning litt over skipets møne. Øverste etasje, som gir plass til klokkene, har veggene trukket inn fra gavldekningene. Over lydgluggene har klokkestuens vegger en spiss gavl som skjærer seg opp i den 8-kantede takrytter. Den bærer spir med kule og kors. Hjelmen og alle tak er tekket med skifer.