В 1730-е годы участок со всеми строениями принадлежал князю Фёдору Алексеевичу Голицыну, который владел им до своей смерти в 1736 году. Получивший сейчас статус памятника дом был двухэтажным, перекрытым двухскатной крышей.
В 1835 году при новом владельце – художнике, золотых дел мастере, саксонском подданном Эммануэле Паннаше – здание было надстроено третьим этажом и с тех пор не подвергалось серьезным перестройкам.
Оформление фасадов дома выполнено в приёмах позднего классицизма с использованием сложного лепного декора: рустованных наличников, сандриков, маскаронов, розеток, полуколонн и пилястр. Центр композиции фасада по набережной акцентирует балкон на гранитных кронштейнах. В здании сохранилась оригинальная парадная лестница первой трети XIX века с криволинейным расположением маршей, сводами, колоннами со стилизованными капителями и известняковыми ступенями.
В настоящее время здание сохраняет свою историческую функцию, оставаясь жилым домом.
