Databile nella seconda metà del XVI secolo, è il risultato dell’aggregazione di due edifici preesistenti i cui distinti assi principali si assommano visivamente al centro formando un insieme disomogeneo di bifore sovrapposte affiancate a trifore, poste per di più su piani sfalsati. Secondo l’uso del tempo, la facciata venne completamente affrescata con soggetti allegorici dal pittore bresciano Camillo Ballini, seguace e collaboratore di Jacopo Palma il Giovane. Gli affresci sono andati quasi completamente perduti.I Barbarigo appartennero al gruppo delle famiglie "nuove" e si estinsero agli inizi dell’800. Si dice che il nome del casato traesse origine dalle gesta di Arrigo, il quale, dopo aver sconfitto i saraceni nel IX secolo, si fece una collana con le barbe dei vinti. In effetti, sullo stemma della famiglia appaiono sei barbe che, secondo le cronache, furono talvolta oggetto di scherzo, come in questi versi satirici: «Barbadico tuo sunt sex in stemmata barbae - Nulla sed ex istis te facit virum». «Nel tuo stemma ci son sei barbe, ma nessuna di queste ti fa uomo».
Caso raro a Venezia, due fratelli Barbarigo salirono successivamente al soglio dogale: Marco, eletto nel 1485 tra l’infuriare della peste, cui soccombette l’anno successivo, e Agostino che da quello stesso 1486 doveva regnare fino al 1501. Sotto il suo dogado, nel 1489, Venezia riceveva la signoria dell’isola di Cipro dalla regina Caterina Corner.
Agostino non godette mai della simpatia popolare; fu molto criticato e ritenuto avido e avaro. Dopo la sua morte, com’era l’uso, il suo operato venne sottoposto ad una rigorosa inchiesta che si concluse con una enorme ammenda di 6.000 ducati inflitta agli eredi. Esiste un ritratto del doge Barbarigo di Giovanni Bellini (Giambellino).
Uno fra i più illustri membri di questo casato fu un altro Agostino, comandante dell’armata veneziana nella famosa battaglia di Lepanto, 1571, cui parteciparono le squadre della Lega Cristiana. Abilissimo marinaio e guerriero, combatté da prode contro i turchi. Nonostante fosse ferito e avesse una freccia conficcata nell’occhio destro, continuò a dirigere la sua flotta fino a portarla alla vittoria. Solo allora, mentre i confederati esultavano per la sconfitta del poderoso Alì Pascià, egli mormorò: «Credo che ora me ne posso andare» e, strappatosi la freccia, spirò. Fra molti altri illustri Barbarigo ricordiamo San Gregorio, nato nel 1655, e Vittoria, madre di Carlo Rezzonico, la quale morì nello stesso anno, il 1758, in cui suo figlio saliva al pontificato col nome di Clemente XIII.