Anche qui, come in altri esempi di residenze rurali nella campagna lombarda del '500, all'aspetto severo dell'esterno, corrisponde nelle sale interne una ricca decorazione dipinta.
Non si trova alcun documento relativo a questi dipinti. 
La decorazione affrescata si estende in quel blocco di fabbrica unitario costituito dall'androne e dalle due sale sovrapposte adiacenti al medesimo androne, nonchè dal piccolo atrio e scaletta di collegamento.
 Gli affreschi più interessanti sono quelli del grande androne, dove si estendono a tutta la volta.
Il tema predominante è costituito dalle grottesche. Si tratta di pitture ornamentali caratterizzate da piccoli motivi a forme vegetali, fregi, figure umane e animali strani, che ebbero grande diffusione sin dal Rinascimento.
Clicca sui particolari per ingrandire
Infatti in quell'epoca riapparvero alla luce, dopo gli scavi archeologici, le decorazioni della famosa "Domus Aurea", di epoca romana; le antiche sale, rovine sprofondate o sotterranee, furono allora chiamate grotte e con il termine grottesca si indicarono le pitture che in qualche modo si ispiravano a quelle decorazioni.
Comune a tutta la volta dell'androne è il fondo chiaro, tendente al bianco, su cui risalta la vivacità di colore delle decorazioni, nonchè il giallo delle finte cornici.
Nella sala a pianterreno invece, fra gli altri, è particolare l'affresco della cappa del camino: rappresenta un vecchio alato, il quale con un mantice soffia su oggetti preziosi. Si tratta di una allegoria del tempo che "estingue le cose corrottibili" (cioè che distrugge tutto quello che si può rovinare).
Per capire questi affreschi, gli studiosi li hanno accostati ad altri, tipici della decorazione profana (cioè non religiosa) del Ducato di Milano, nel Cinquecento. Sono state infatti trovate analogie con le decorazioni di villa Gaia a Robecco sul Naviglio e di villa Cicogna Mozzoni a Bisuschio, ma anche, in ambito religioso, con quelle della cappella dell'abbazia di Mirasole. 
Paragonando ora gli affreschi di Zivido ad altri molto vicini nel territorio, è facile il collegamento con quelli del castello di Melegnano, in costruzione nello stesso periodo. E' possibile che fossero presenti in tutti e due i cantieri le medesime maestranze o almeno alcuni artisti. La mano del "Maestro delle Quattro Stagioni" (cioè il pittore che ha affrescato questa bellissima sala nel castello di Melegnano) appare infatti molto simile a quella che dipinse gli affreschi di Zivido.
Lo stato di rovina in cui si trovano la maggioranza degli affreschi nel castello, nonchè le medesime strutture architettoniche, molto degradate, ci fa temere che ci sia il rischio di perdere, con la rovina del castello di Zivido, anche l'espressione di un gusto da parte di una famiglia, i Brivio, di cui sono documentati gli interessi artistici.
Nella chiesetta del Borgo di Zivido essi commissionarono la pala d'altare a un maestro quale il Bergognone, e l'elenco della loro importantissima collezione milanese ci fa capire che erano veri intenditori, possedendo, nel '700, anche dipinti riferiti a Leonardo, Bernardino Luini e Gaudenzio Ferrari.