Участок земли по реке Фонтанке был пожалован Петром I фельдмаршалу, графу Б. П. Шереметеву в 1712 г. Двухэтажный каменный дворец, существующий ныне, был построен в 1750 г. Архитектор постройки — С. Чевакинский. До 1917 г. Шереметевский дворец и усадьба принадлежали пяти поколениям графской ветви известного русского рода Шереметевых. Более 150 лет дворец был «родовым гнездом» Шереметевых, в нем хранились коллекции живописи и предметов старины, здесь Пушкин позировал Кипренскому для знаменитого портрета.
После революции Шереметевский дворец был музеефицирован и как Музей дворянского быта просуществовал до 1931 г. В 1990 г. Шереметевский дворец был передан Музею театрального и музыкального искусства для создания Музея музыки Петербурга и размещения государственной коллекции музыкальных инструментов. С конца 1980-х годов в Шереметевском дворце начались реставрационные работы, связанные с воссозданием парадных и мемориальных интерьеров XIX столетия. Музыкальная коллекция Шереметевского дворца насчитывает более трех тысяч инструментов и является одной из пяти крупнейших в мире и лучшей в России.