На протяжении многих столетий, вплоть до середины ХХ века, на территории современного ландшафтного парка находились древние постройки, возведенные в XIV веке:
- Благовещенская церковь;
- Житный двор — главное кремлевское хранилище хлеба и зерна, предназначенных для царских застолий;
- храм св. великомучеников Константина и Елены.
В 1898 году ансамбль построек был дополнен памятным мемориалом из бронзы, посвященным императору-освободителю Александру II. Его автором является известный российский архитектор А.М. Опекушин. Скульптурная экспозиция находилась в верхней части Боровицкого холма (так называемом Большом Кремлевском сквере) и занимала площадь в 1300 кв.метров. Высота главной фигуры составляла 72 метра (для сравнения: знаменитый памятник Петру Великому авторства Зураба Церетели возвышается над водами реки Москва на 98 метров).
Императора изобразили в генеральской форме, со скипетром в руке. На постаменте была выгравирована надпись «Императору Александру II любовью народа». Фигура самодержца была прикрыта роскошно декорированной шатровой сеткой из гранита и бронзы, увенчанной символом российского самодержавия — двуглавым орлом. Вокруг статуи располагался арочный комплекс с мозаичными изображениями 33 русских царей и императоров.
Уничтожение архитектурного комплекса Тайницкого сада произошло в первые годы советской власти:
- первым исчез памятник Александру II: он был демонтирован в 1918 году и чудом сохранился до наших дней (сейчас реконструированная скульптура, уже без арочного комплекса и шатра, установлена на территории ансамбля Храма Христа Спасителя);
- снос Константино-Еленинского храма совпал с массовым уничтожением религиозных сооружений на всем пространстве СССР (собор был взорван в 1928 году);
- Благовещенская церковь простояла у стен Кремля дольше всего, до 1932 года.
Вплоть до 1960 года территория Тайницкого сада использовалась для проведения столичных торжеств, в том числе общесоюзных детских ёлок. На протяжении следующих десятилетий активно осуществлялись работы по благоустройству территории:
- парк был засажен редкими породами хвойных, а также фруктовыми деревьями (теперь он полностью оправдывает свое название);
- 14 апреля 1961 гора, спустя 2 дня после возвращения из первого полета человека в космос, Юрий Гагарин торжественно посадил на территории сада дуб «Космос» (растет в саду и в наши дни);
- в 1967 году в центральной части Большого Кремлевского сквера (советское название сада) был установлен памятник лидеру мировой революции — В.И. Ленину, окруженный многочисленными цветами и мраморными скамейками;
- в 2008 году в парке был возведен небольшой фонтан «Счастья вольная птица», в центральной части которого располагается бронзовая скульптура павлина.