Le parti più antiche dovrebbero essere del '300, ma ben poco rimane: sostanzialmente parte della torre quadrangolare, attorno alla quale nel Quattrocento e nel Cinquecento furono costruiti i corpi di fabbrica circostanti, poi notevolmente rimaneggiati. 
Delle due corti, così formatesi, la minore, delimitata da semplice parete muraria di chiusura, prospetta sulla via, mentre la maggiore è rivolta a ovest, verso la via Emilia. Il castello è compreso nella schedatura condotta per l'Ufficio dei Beni Culturali Ecclesiastici della diocesi di Milano nella segnalazione di opere da restaurare, nel recentissimo repertorio, dedicato alla Lombardia da salvare.
La torre s'innalza su planimetria quadrangolare.
Qualche cosa di antico, e di fortificato, può ritrovarsi nel notevole spessore delle murature. Tuttavia, è molto difficile riconoscere con esattezza qualche traccia di epoca medioevale. Da riferirsi all'età iniziale potrebbe, forse, essere la sottile cornicetta decorativa superiore; ottenuta mediante il lieve sporto dei mattoni, la cornicetta ripete una decorazione simile al cosiddetto motivo a "dente di sega", diffusissimo nei castelli rurali di pianura. 
E' verosimile che, alla pari dei castelli di pianura risalenti ad età viscontea, anche quello di Zivido fosse, agli inizi, semplicemente costruito in mattoni, materiale più immediatamente disponibile, scelta tesa a ridurre al massimo l'incidenza dei costi di trasporto.Nel 1515, nel corso della Battaglia dei Giganti, il castello di Zivido fu quasi completamente distrutto. Oltre alla torre, l'incendio che fu allora appiccato dovette risparmiare, almeno in parte, alcuni fra i corpi di fabbrica aggiunti nel Quattrocento.
 
Il castello fu ricostruito nel secolo seguente: una ristrutturazione di notevole vastità, dato che i materiali costruttivi, in particolare i mattoni e le malte, risultano molto omogenei.
Costruiti più unitariamente appaiono i corpi di fabbrica compresi dalla torre all'androne: disposte su planimetria complessivamente ad "L", intorno all'antica torre, le murature svelano uno spessore maggiore delle altre innalzate nel castello. 
Sul prospetto della corte grande appare, sulla parete verso l'androne, inserito entro la muratura, l'antico profilo di un porticato, di cui restano quattro archi a sesto leggermente acuto, già sostenuti da serie di colonnine di pietra. La critica ha oscillato, per la datazione di questo avanzo di porticato, dal medioevo al quattrocento. 
Il tema del cortile con arcate, interno ad una residenza castellana, è frequente in quelle dimore di campagna che ripropongono motivi caratteristici dei palazzi di città, come il notissimo modello di palazzo Borromeo a Milano.
  
Se già dal 22 giugno 1251 è menzionata, nel borgo di Zivido, la presenza dei Brivio, mancano, purtroppo altre notizie relative non solo al castello, ma anche al passaggio di proprietà alla medesima famiglia, sino al documento del 9 luglio 1575.
Già ristrutturato, e non più allo stato di rovina, doveva essere il castello nel 1575, quando era distinta la "casa da gentilhuomo" dal "castelletto". L'antica destinazione, cioè, si era ormai trasformata, come di consueto nelle architetture fortificate, essendosene conclusa la funzione difensiva. Con lo stesso intento  era stato riadattato, poco lontano da Zivido, anche il castello di Melegnano, che era stato accordato sin dal 1513 da Massimiliano Sforza, quale feudo proprio, alla medesima casata dei Brivio, ma poi donato da Francesco II Sforza nel 1532 al Medeghino.
Come nella residenza di Melegnano, anche quanto restava del castello di Zivido fu allora rielaborato per la trasformazione a residenza di campagna, secondo un progetto architettonico cinquecentesco.
 
Verso il borgo di Zivido, la torre, dove campeggia il rilievo marmoreo con lo stemma della famiglia proprietaria, veniva trasformata, al pari di numerosissimi esempi contemporanei, in colombaia. Sulla via, la piccola corte è chiusa da alta parete in muratura decorata.
Così verso il borgo l'aspetto esterno del castello, con la torre squadrata, anteriormente delimitata dalla liscia parete muraria, tende a bloccarsi in una forma geometrica assai compatta e con scarsa comunicativa con l'esterno, come in molti castelli non solo della zona, vedi quello di Melegnano, ma anche nella pianura lombarda.
  
 
Sulla corte maggiore e sul giardino, più tardi compreso, con disegno a grandi aiuole, nell'illustrazione sulla mappa catastale del 1722, prospetta una loggetta trifora, forse di età rinascimentale e qualche porta con cornici in cotto lavorate.
  
 
 
 
Le due facciate del castello di Zivido, insieme al giardino, fanno pensare alle descrizioni di ville con appartamenti e alloggiamenti signorili "da' Prencipi, tutti delitiosi, con fonte, peschiere, boschetti, lamberinti (= labirinti), pergolati".
Dal grande cortile retrostante, si entra nell'ampia cantina o caneva, che ripete l'articolazione strutturale dell'androne: voltata a botte su sei lunette. Piu tardo, fra sei e settecento sembra invece, databile il grande portale, che immette nell'androne ad arco strombato, tipico della campagna lombarda.
  
 
Ancora nel '700, la mappa catastale del 1722 illustra il castello con planimetria simile a quella novecentesca e con l'ampio giardino, un tempo sopravanzante lo stesso castello, sino all'attuale via Gorki, comprendendo, cioè, il fabbricato a nord est, allora destinato ad osteria: il giardino vi appare come articolato intorno a due grandi aiuole, ciascuna con disegno floreale specularmente simmetrico; il giardino prospettava, a sua volta, sull'aperta campagna, verso la via Emilia. 
Apparentemente priva di trasformazioni particolari rispetto al '700, è la planimetria del castello, come rappresentata nelle mappe catastali, rispettivamente del 1866 e del 1897. 
Quindi, ormai in tempi recenti, nel 1982 la famiglia proprietaria donava il castello a suore che, attualmente, gestiscono un asilo infantile.
Attualmente tutta  l'area immediatamente circostante il nucleo centrale del castello è fatta oggetto di massicci interventi di "ristrutturazione" o di completo rifacimento del tessuto urbano, con cambiamento delle funzioni d'uso.