Строительство этой кирпичной башни, изначально выполнявшей функцию главного входного форпоста в крепостную часть Ярославля со стороны волжского берега (отсюда и первоначальное название), было начато в 1657 и завершено в 1668 гг. Сооружение, согласно проекту, поначалу имело отводную стрельницу и деревянную кровлю шатрового типа. В 1815 г. проезды заложили кирпичной кладкой, стрельницу демонтировали, кровлю покрыли железом, а в стенах обустроили оконные проемы – с этого времени здесь открылся трактир, уничтоженный пожаром в 1832 г. Затем здание передали в распоряжение военных под арсенал, откуда пошло более позднее одноименное название.
В 490-х гг. девятнадцатого столетия башню надстроили и обтесали, чтобы ею было удобно пользоваться именно как арсеналом. Ближе к завершению девятнадцатого столетия в Волжской башне вновь был открыт трактир. В настоящее время здесь размещается кафе «Волжская башня».