Il primo documento da cui risulta che a Zivido esistesse una chiesetta risale al 1386: nel suo testamento Giovannolo de' Brivio ordinava che a Zivido fosse celebrato l'anniversario della sua morte. Appare perciò probabile che a Zivido esistesse, allora, una piccola chiesa, probabilmente povera e semplicissima. 
Alla seconda metà del '400 risale invece la costruzione di quella attuale, forse sul luogo della precedente, costituita da due vani rettangolari (perimetro totale interno: m 16 x 5), di cui il minore è il presbiterio, uniti in direzione longitudinale tramite l'attacco di due piloni. Forse originariamente l'abside era di forma semicircolare. Già in antico la copertura doveva consistere in un tetto ligneo a vista, cui doveva corrispondere anche l'attuale facciata.
Quest'ultima è del tipo, all'epoca molto diffuso, a capanna.
 
La fronte della chiesetta di S.Maria è formata da mattoni a vista, cioè di quel cotto dal bel colore rosato, che ci appare di cromia complementare al verde della campagna circostante; simile in questo alle abbazie del nostro territorio, e, in particolare, a quella, non lontana da Zivido, di Viboldone, seguendo una tradizione diffusa in Lombardia, regione scarsa di marmi.
Gli studiosi fanno l'ipotesi che forse anche all'epoca esistesse un portale centrale ad arco acuto, sormontato da un piccolo rosone centrale e affiancato da due finestre laterali.
  
La parete parzialmente protetta da un portico doveva servire anche al riparo di due piccoli altari, attualmente scomparsi, ma situati all'esterno della chiesetta all'epoca della visita pastorale, effettuata nel 1573 dal cardinale San Carlo Borromeo, che ne decretò la rimozione.  Un documento del 1664 ci regala la descrizione delle "case et giardino" annesse alla chiesa, cioè della casa parrocchiale, già fatta costruire da don Alessandro Brivio, nel 1573, quindi probabilmente ampliata dal figlio Carlo prima del 1611. Innalzata su due piani, in parte costruita sopra la sacrestia della chiesa, e provvista di scala esterna, la casetta era dotata di cortiletto, pollaio, giardino con pergolato di vite e piante diverse, comprese alcune di frutta (amarene, noci, prugne, pere). Nella casa parrocchiale c'era ancora un camino cinquecentesco, costruito di pietre e mattoni. 
 
Fu probabilmente don Carlo Brivio che commissionò a un pittore famoso quale Ambrogio da Fossano, detto il Bergognone, la pala d'altare già in S.Maria della Natività: l'attuale dipinto consiste in una copia, datata 1938. Dell'originario si è conservata solo la parte centrale, che si trova nel Palazzo Brivio di via Olmetto, a Milano. Esso rappresenta la Madonna col Bambino, le altre due tavole, che rappresentavano Sant'Ambrogio con ai piedi lo stemma dei Brivio e Santa Caterina con ai piedi lo stemma dei Groppello andarono disperse. 
Vogliamo a questo punto ricordare che una tradizione del luogo, sia pur non comprovata da documenti, suggerisce che il medesimo pittore avesse forse lavorato proprio a Zivido, nella cosiddetta "casa nobile" vicino al castello, demolita recentemente. 
La data dovrebbe essere riferita ai primi anni del '500: neanche un decennio più tardi avrebbe avuto luogo la famosa battaglia dei Giganti, combattuta proprio a Zivido il 13 e 14 settembre 1515 e vinta da Francesco I, nuovo re di Francia.