Долгое время эта башня называлась Конюшенной, к ее стенам был пристроен конюшенный двор. Только в 1840 году конюшни снесли, освобождая место для возведения нового корпуса Оружейной палаты с музейными залами и мастерскими. Башня стала именоваться Оружейной.

Оружейная башня относится к числу тех фортификаций Кремля, что не пострадали во время оккупации Москвы французами в 1812 году: мины, заложенные у ее основания, к счастью, не взорвались. Вплоть до начала XIX века у стен башен сохранялись бастионы, выстроенные еще в эпоху Петра I. В ту пору горожане использовали их зимой в качестве горок для катания на санях. В 1820-х у наружных стен башни разбили аллеи Второго Александровского сада.