Нижний этаж здания, которое называется Палаты Мазепы, был построен в XVI веке, около 1570 года. Сведений о владельцах Палат в те времена нет. Источники наперегонки утверждают, что украинский гетман-предатель никогда не владел палатами. Хотя Мазепа, во времена своих визитов в Москву точно жил совсем недалеко. То в нынешнем Хохловом переулке, который тогда без затей именовался Хохлы, то в усадьбе, расположенной на территории нынешнего Евангелическо-лютеранского собора святых Петра и Павла. От того особняка сейчас уцелела одна стена.
Полуанекдотическая версия гласит, что советские археологи очень хотели отреставрировать палаты. Однако им разрешали восстанавливать только объекты, связанные с именами крупных исторических персонажей. Поэтому-то возникло имя Мазепы. Не лучший, если не сказать большего, персонаж для коммунистических вождей. Возможно, Палатам дали имя Мазепы просто потому, что гетман в зените своей карьеры или гостил или жил в них, вот название и «прилипло».
В начале XVIII века Палаты Мазепы стали частью огромных владений всесильного тогда Абрама Лопухина — брата первой жены Петра I царевны Евдокии. Лопухин, обладавший в Москве практически абсолютной властью, хотел большего и всячески обхаживал сына Петра царевича Алексея. После бегства и поимки царевича всё в одночасье рухнуло, а Лопухин был казнён.
Примерно в середине XVIII столетия Палаты, уже с надстроенным вторым этажом, принадлежали князьям Голицыным. Затем здание приобрёл уже упомянутый лютеранский собор, который долго планировали расширить. После 1917 года Палаты Мазепы стали жилым домом с коммунальными квартирами.
Когда Советский Союз в начале 1970-х приоткрыл двери для еврейской эмиграции, в Палаты перевели загадочный и всемогущий ОВИР — Отдел виз и регистраций граждан, выезжающих за рубеж. Несмотря на то, что претенденты на выезд собирали массу справок и проходили несколько собеседований, именно в ОВИРе им либо разрешали выезд, либо отказывали в нём. Всего через московский ОВИР в 1970 — 1975 годах прошло более 100 тыс. человек, и люди это были далеко не из последних. Здесь же получали паспорта и граждане, выезжавшие за границу по туристическим путёвкам или в командировки. То есть, если мы знаем, что Владимир Высоцкий выезжал за границу, мы можем быть уверены — он посещал Палаты Мазепы.
После 1991 года здание вернули лютеранскому собору. Церковь сдаёт его под офисы. В 2018 году было объявлено о грядущей реставрации здания.