Освоение земель, на которых расположился современный Рахмановский переулок, началось еще в XVI веке. Первое время их заселяли рабочие сословия горожан: оружейники, ремесленники, кузнецы, пекари. Со временем близость Кремля способствовала повышению престижа района. Территория начала застраиваться каменными домами и городскими усадьбами представителей московской знати и чиновничества.
Формирование современного облика Рахмановского переулка произошло в середине XVIII века. Улица начиналась от Петровки и простиралась до берега реки Неглинной: в то время она еще не была убрана под землю и несла свои воды в Москва-реку через весь город. Переулок был тупиковым, а при разливах Неглинки грязные воды реки заливали мостовую и первые этажи зданий.
Первым респектабельным зданием, возведенным на Рахмановском переулке, стала усадьба аристократического семейства Гагариных. Вслед за ней по обеим сторонам начали строиться другие особняки и доходные дома.