"Decima" fu l'imposta reale a carico dei cittadini di Venezia e degli abitanti residenti nei territori metropolitani della Serenissima.Questo era il luogo dove i magistrati addetti alle finanze, i "Dieci Savi alle Decime", esercitavano la loro attività.
Il lungo e stretto edificio porticato, il cui lato corto, (sole quattro arcate) si vede alla fine della fondamenta detta riva del Vin che costeggia il Canal Grande subito dopo il Ponte di Rialto, mentre il lato lungo (trentasette arcate) prospetta sulla ruga degli Oresi, venne costruito a partire dal 1521 dall'architetto Antonio Abbondi detto lo Scarpagnino, infaticabile ricostruttore dell'area di Rialto dopo che questa era stata quasi del tutto rasa al suolo da un incendio devastante (1514).
Il palazzo, che fino alla fine della Repubblica ospitava gli uffici della magistratura dei Dieci Savi alle Decime, cioè, diremmo oggi, agli uffici del Fisco o delle Entrate, è molto semplice e decoroso, realizzato con l'intento di dare ordine, pulizia e funzionalità ad un'area molto trafficata. Sui suoi portici, che un recente restauro ha riportato alla bellezza di un tempo, decorati come sono da semplici affreschi, insistono due piani molto sobri, con semplici finestre rettangolari e due marcapiani continui molto evidenti, che danno ancor maggiore linearità alla lunghissima fabbrica. Il palazzo come lo vediamo noi oggi, con uno spigolo quasi inglobato tra le rampe della scala centrale e quella laterale del Ponte di Rialto, doveva essere un tempo completamente sgombro e tale rimase fino alla rifabbrica in pietra del grande ponte, risalente agli anni 1588-91. All'angolo, a livello del secondo piano, si può notare una delle due sole decorazioni presenti, la statua cinquecentesca della "Giustizia", con una spada sguainata e bilancia; l'altro decoro è posto sulla facciatina laterale che prospetta sul Canal Grande ed è quel bel leone "in moeca", in corpo, al posto di un'aquila bicipite, simbolo della casa imperiale austriaca che, a sua volta, aveva sostituito un vecchio leone della ormai morta Repubblica Veneta. Questo leone del Quattrocento venne poi nuovamente tolto nel 1849, quando gli Austriaci riconquistarono la città e ricomparve al suo posto, per restarci definitivamente fino ad oggi, quando Venezia entrò a far parte del Regno d'Italia. Più sopra un altro piccolo muso di leone cinquecentesco.
L'edificio ospita oggi gli uffici del Magistrato alle Acque.