В 1730-е годы на этом участке располагался особняк генерала-аншефа Андрея Ивановича Ушакова. В 1750-е годы по проекту архитектора А.Ф. Кокоринова дом был перестроен для зятя А.И. Ушакова – графа П.Г. Чернышева.
В 1846 году, в период владения домом графом Апраксиным, лицевой флигель со стороны Дворцовой набережной был перестроен в стиле неоренессанса по проекту архитектора Н.Е. Ефимова.
С 1891 по 1917 годы в здании размещался один из самых престижных клубов Санкт‑Петербурга – «Английское собрание». Членство в клубе указывало на высокий статус состоящих в нём людей. Престиж организации был обусловлен закрытостью Английского собрания, а также значительным влиянием на политическую сферу и общественное мнение.
Здание было перестроено по проекту архитектора Фёдора Михайловича Вержбицкого в 1899-1900 годах в стиле эклектики с элементами барокко и классицизма. Лицевой фасад по улице Миллионной сохранил композицию – девять световых осей, три центральные оси выделены раскреповкой и завершаются ступенчатым аттиком, также сохранился вход в пространство парадной лестницы по боковой оси и габариты воротного проезда.
В 1917 году Английский клуб перестал существовать, а помещения заняли коммунальные квартиры. В настоящее время здание является многоквартирным жилым домом.