Das Museum befindet sich in einem eleganten Palazzo aus dem 19. Jahrhundert, einer Perle der lokalen Architektur. Die Geschichte des Hauses ist eng mit Antonio Semadeni verknüpft. Der emigrierte Puschlaver hatte mit viel Geschick als Cafetier in Polen sein Glück gemacht und liess 1856 den Palazzo anstelle eines alten Bauernhauses errichten.

Antonio Semadeni war in Warschau als Schweizer Konsul tätig gewesen und so nannten die Puschlaver seinen Wohnsitz im Dorfzentrum von Poschiavo ganz einfach Casa Console. Dem Kunstmuseum war es wichtig, diesen traditionellen Namen zu bewahren.

Das Innere des Gebäudes wurde in seiner Struktur im Originalzustand belassen, besonders wertvoll sind zudem die teilweise vergoldeten Deckenstuckaturen und einige Beispiele von venezianischem stucco lucido. Auch die auf die Hauptstrasse des Dorfkerns gerichtete Fassade ist im eleganten Stil des 19. Jahrhunderts gehalten; in Höhe des ersten Stocks steht heute eine Bronzestatue des französischen Bildhauers Ernest Barrias. Sie zeigt den jungen Mozart beim Stimmen seiner Geige.

Der Bauherr – Konsul Antonio Semadeni

1875 wurde in Warschau das Schweizer Konsulat eröffnet.

Die dort ansässige schweizerische Kolonie schlug Antonio Semadeni als Konsul vor. Der Puschlaver Patissier war ein hoch angesehener Mann, den man wegen seines Unternehmungsgeistes, seiner Integrität und Vertrauenswürdigkeit schätzte. Er hatte ein polnisches Gymnasium besucht und sprach fliessend italienisch, französisch, deutsch, polnisch und russisch.

Nach seiner Ernennung zum Ehrenkonsul wurde sein Wohnsitz in der Nowy Swiat n. 1247/61 in Warschau zum Sitz des Schweizer Konsulats. Hier übte Antonio Semadeni bis 1884 seine diplomatische Tätigkeit aus.