Nell'anno 1514 un disastroso incendio distrusse tutti gli edifici della area realtina (si salvò soltanto, come per miracolo, la chiesa di San Giacometto).La Serenissima, ovviamente, dispose l'immediata ricostruzione di quella zona, così strategica per la vita economica della città e bandì un concorso per il miglior progetto di riedificazione riqualificazione dell'insula mercantile; fra le sette proposte presentate fu scelta quella di Antonio Abbondi detto lo Scarpagnino, che, in pratica, riproponeva la medesima disposizione planimetrica delle costruzioni precedenti.
L'edificio, costruito fra il 1520 e il 1522, in stile classico, rivolge la sobria facciata al Canal Grande ed è costituito da unità omogenee disposte alla stessa altezza, unite fra loro dai portici continui e dai marcapiani. A livello del piano stradale i volumi del complesso erano suddivisi in vari spazi destinati alle varie attività ( Erbaria, Pescaria, Bancogiro e Drapperia). A livello dei piani superiori, caratterizzati da semplici aperture rettangolari, si trovavano uffici di carattere amministrativo, in particolare le sedi delle magistrature legale al controllo del mercato.
Di fronte troviamo la colonna del bando, chiamata il Gobbo di Rialto, così detta per la struttura che regge i gradini. Si tratta di una colonna di porfido portata a Venezia da Acri nel 1291, la scaletta che porta alla sua sommità serviva agli araldi per leggere le condanne e la lista dei cittadini messi al bando è sostenuta da una statua ricurva per cui la sua inconsueta posizione fu chiamata il Gobbo.
Durante il Medioevo i ladri erano condannati a correre nudi da San Marco a Rialto tra due file di gente che menava frustate.
La colonna del Gobbo era quindi considerata il traguardo e costituiva la fine del tormento, al punto che, arrivati alla colonna i delinquenti la baciavano e l'abbracciavano.
A metà del 500 invalse l'uso di appendere alla colonna poesie satiriche e libelli contro il degenerare dei costumi dello Stato e del Clero. Assieme al "Sior Rioba" in Campo dei Mori alla Madonna dell'Orto, il Gobbo diventò una sorta di Pasquino veneziano