Palazzo tardogotico, costruito attorno al 1470 con le medesime componenti stilistiche di Ca' Foscari, è caratterizzato da un grande rigore compositivo e belle proporzioni. Nella facciata sul Canal Grande si possono ritrovare motivi tardogotici accostati a richiami proto rinascimentali, proprio come accade nella più maestosa dimora Foscari. Gli archi della quadrifora al piano nobile sono intrecciati e formano motivi a quadrilobo. Tra le monofore laterali due nicchie ospitano paggi reggi-scudo di fattura lombardesca del secolo XV che preannunciano già il primo gusto rinascimentale. Al secondo piano nobile si vede un'altra quadrifora aperta, dietro la quale vi è una piccola loggetta. Le belle colonnine sono rifinite da capitelli molto elaborati e scolpiti con foglie grasse. Ben studiate appaiono le proporzioni e il rigore della composizione che tende a concentrare l'attenzione verso il punto centrale, lasciando un po' più in ombra il portale che è assai semplice e non proprio maestoso nelle dimensioni.Costruito per la nobile e antica famiglia Loredan, il palazzo è così chiamato perché durante il dogato di Francesco Loredan, la struttura fu messa a disposizione dell'ambasciata austriaca per 29 anni, a patto che l'ambasciatore pagasse anticipatamente la quota dell'affitto e che restaurasse a sue spese l'edificio. La proposta fu accettata e nel 1754 l'ambasciatore Filippo di Rosenburg Orsini si insediò nella dimora. Ma i Loredan avevano lunga consuetudine in fatto di ospiti illustri: precedentemente avevano accolto nella loro casa il conte Mathias von Schülemburg che, assieme a Antonio Loredan, aveva combattuto e vinto contro i turchi a Corfù nel 1716, scongiurando la loro avanzata verso Venezia. Egli era un grande appassionato d'arte, nonché un fecondo collezionista, infatti alla sua morte la sua pinacoteca contava più di novecento opere tra le quali spiccavano i nomi di Caravaggio, Lorenzo Lotto, Mantegna, Piazzetta e Antonio Guardi.
Nel 1891 un devastante incendio distrusse buona parte dell'edificio che fu però subito restaurato, soprattutto negli interni. Oggi è di proprietà privata.