Мемориальный музей-гауптвахта был открыт в год празднования 175-летнего юбилея Тараса Шевченко - в 1989 году. Здание, в котором расположился музей, было построено в 1843 году для нужд канцелярии одного инженерного подразделения. Именно здесь в апреле 1851 года находился под арестом знаменитый поэт и художник, арестованный за участие в тайной организации, вошедшей в историю как Кирилло-Мефодиевское братство.
Экспозиция музея реконструирует типичную обстановку гауптвахты ХIХ века - маленькая камера арестованного, караульное помещение. На окнах массивные кованые решетки, которые изображены на одном из рисунков Шевченко. У входа в гауптвахту с главной улицы стоит казак в амуниции той эпохи - весьма реалистичный манекен. Материалы, представленные вниманию посетителей в главном экспозиционном зале, подробно отражают различные этапы непростой судьбы Тараса Шевченко. В музее экспонируются документы о пребывании Шевченко в Орске, Аральской экспедиции, Оренбурге, а также о семи годах пребывания на полуострове Мангышлак.
Под арестом на гауптвахте Тарас Шевченко оказался из-за нарушения императорского запрета - государь Николай I запретил ссыльному поэту писать и даже рисовать, однако вдохновившись участием в научной экспедиции, Шевченко проигнорировал это указание и создал несколько