Сердцем Плёса является Соборная гора, которая получила своё второе название — гора Свободы. Именно отсюда берёт своё начало городок на Волге.
Первое упоминание о Плёсе историки отмечают в 1141 году. Просуществовало поселение до нашествия монголов в 1238 году, когда пожаром были сожжены все дома. Город возродился лишь в 1410 году стараниями великого московского князя Василия Донского, сына Дмитрия Донского. Поэтому жители Плёса считают москвичей почти родственниками. Приказом московского князя на горе высотой 70 метров над уровнем воды была заложена большая деревянная крепость с земляным валом, призванная защищать не только сам город, а подступы к Ростово-Суздальскому княжеству. С Соборной горы хорошо просматриваются все окрестности, поэтому врагу сложно оказаться здесь незамеченным. Кроме того, крепостной вал оказался довольно крутым и неприступным, поэтому подобраться к стенам крепости было довольно сложно. Стены Плёса могли защищать даже от огнестрельного оружия, что было редкостью для построек того времени.
К сожалению, до наших времён крепость не сохранилась. Остался лишь крепостной вал, да старые вековые берёзы отмечают прежние стены. Однако сама гора исторически мало изменилась. Здесь нет современных построек. Скорее, это место отдыха местных жителей и туристов. Вокруг горы тянется извилистая аллея, гордо называемая плесовчанами «бульвар». На горе стоит с 1699 года старейшая церковь города — Успенский собор, здание бывших Присутственных мест конца XVIII века.
В 1910 году была отдана дань памяти основателю города — Василию Донскому. В год празднования 500-летия Плёса состоялось открытие памятника в его честь на горе Свободы. Скульптор С. Алёшин изобразил князя, подобно иллюстрациям на картинах и иконах. В меховой шапке и богатом меховом воротнике, бюст Василия I стоит на высоком тёмном постаменте и окружён узорчатой оградой.
Сейчас Соборная гора активно реставрируется. Обновлены Присутственные места, не потерявшие при этом своей исторической ценности. Облагораживается аллея, создаются смотровые площадки, беседки. Здесь любят прогуливаться жители города. Сюда обязательно поднимется каждый турист, чтобы понять, чем так заворожили плёсские окрестности известных художников. Именно на высокой горе становится понятным название волжского городка. Река в этой своей части течёт ровно, будто в узком коридоре. А ведь «плесъ» с древне-русского переводится как прямой участок реки.
Соборная гора является не только исторической частью города, но и культурной. Здесь проводят праздники и фестивали, гуляют свадьбы в русских традициях. До революции гора являлась и административным центром города.