"Den ældste del af kirken - det romanske skib, kor og apsis - er opført omkring år 1000. Kirken er som mange andre kirker her på Horsensegnen, bygget af frådsten (kildekalk)."


"Kirken, der har tegltag, fik efterhånden nogle tilbygninger, hvortil man blandt andet anvendte teglsten. I 1500tallet blev det gotiske tårn mod vest bygget af munkesten. Det fik en rektangulær grundflade, idet de parallelle nord- og sydsider er 6 meter, mens vestgavlen er 8 meter. Mod vest har der tidligere været et fladbuet vindue, men nu er der indlagt et spidsbuet støbejernsvindue. I tårnets sydside har der været en indgang, der sandsynligvis er blevet muret til, da det sengotiske våbenhus blev bygget noget senere i 1500 tallet. Denne dør ses indvendig i tårnet som en dyb blænding.


Tårnets overdel blev ændret i midten af 1700 tallet. Etatsråd Gerhard de Lichtenberg, der på det tidspunkt ejede kirken, lod med Nicholaus Hinrich Rieman som bygmester murene korte ned samtidig med, at der opsattes et blytækt tårn med en løgformet kuppel, karakteristisk for bygmesteren, måske inspireret af de Lichtenbergs forbindelse til Østen. Øverst på kuplen sidder i dag et kobberkors med en forgyldt kugle, som er lavet og skænket af smedemester Rikard Kjemtrup Jensen, Ølsted (1906-1987)."


"Ved kirkens østende ses kirkens apsis, der netop ved Ølsted Kirke er ret usædvanlig, idet dens grundflade er tresidet, en form som kun kendes fra ganske få kirker her i landet."