Серпуховский кремль — расположен на левом берегу Нары, на Соборной горе, одна из древнейших достопримечательностей города. Ныне сохранились лишь фундамент и два фрагмента стены.
Дубовый кремль в Серпухове был выстроен в 1374 году. Он был расположен на высоком мысу при слиянии речки Серпейки с Нарой. При строительстве мыс «с приступа» был отделен от Ильинской горы «перекопом», а затем подрезан и подсыпан глиной и песком. Из «перекопа» в кремль был устроен единственный въезд в виде крутого пандуса, следующего очертанию вала (второй въезд, с юга, сделан много позднее, в начале XIX века).
После 1507 года, когда Крымское ханство становится постоянным и непримиримым врагом Руси, на берегах Оки Василий III создает мощную линию обороны, опирающуюся на окские города-крепости. Центром этой оборонительной системы был Серпухов, стоящий на кратчайшей дороге из Москвы в Тулу. Кроме того, недалеко от Серпухова находился и знаменитый Сенкин перевоз, через который татары чаще всего «лезли Оку».
Белокаменный кремль появился в 1556 году. Строители каменных стен и башен, постепенно заменяя деревянные укрепления, повторили конфигурацию дубового кремля. Новая крепость-цитадель, нисколько не нарушив ансамбль древнего Серпухова, внесла в городской пейзаж две новые краски: ослепительную белизну стен и золотистую охру тёсовых башенных кровель.
Возведением каменного Серпуховского кремля укрепление города не закончилось. Одновременно с ним строится деревянный острог для защиты посада с городским торгом. Общая протяженность острога составляла более тысячи метров.
В Смутное время охраняемый городом-крепостью стратегический рубеж сделался рубежом смуты и мятежа, отделившим бурлящие, охваченные восстанием южные районы России от примыкающих к столице центральных уездов государства. Окруженный многочисленными сторонниками самозванец принимал в Серпухове виднейших московских бояр, в открытые жителями города ворота неприступной белокаменной крепости вступали отряды Болотникова, воеводы царя Василия Шуйского проводили смотр собравшейся в «Серпуховском походе» военной силы… В 1609 году Серпухов штурмуют поляки под предводительством пана Млоцкого; они сожгут посад, но кремль взять так и не смогут. Попытается захватить город в 1618 году и гетман Сагайдачный, но дальше посада прорваться ему тоже не удастся.
В середине XVII века возвели последнее оборонное сооружение Серпухова — новоприимочный острог, защитивший Подол города. Думается, что главной целью этого строительства была защита двух высоких холмов — так называемых Воскресенской и Афанасьевской гор, с которых можно было вести прямой артиллерийский обстрел кремля.
В 1633 году, когда крымский царевич грабил левобережные уезды по Оке, жители Серпухова последний раз затворялись в каменной крепости. С тех пор уже не неприятельское оружие, а пожары были для города самым грозным и неотвратимым бедствием. Огонь мгновенно распространялся по сплошь деревянному городу, уничтожая и жилые дворы, и деревянные постройки серпуховских укреплений, и верхи кремлёвских башен и стен. После пожара 1645 года починку кремля производил «горододелец, думный дьяк» Афанасий Осипович Прончищев. Но тем не менее в 1650 году воевода Андрей Оленин, осматривавший кремль, нашёл его в плохом состоянии: «Башни не покрыты, тайники утеряны». Сильный пожар 1669 года был основной причиной начала разрушения памятника. Сметный список 1681 года уже говорит о частых обвалах башен.
К концу XVII века Серпухов окончательно теряет свое военное значение. Кремль и остроги не ремонтируются. Лишь в 1708 году, опасаясь наступления Карла XII на Москву, Петр I вспоминает о Серпухове и приказывает по возможности «укрепить и палисадировать» город. Но обстановка, как известно, вскоре переменилась, и надобность в ремонте серпуховских укреплений отпала. Их состояние постоянно беспокоит городской магистрат, так как подгнившие деревянные башни грозят обвалом, а в кремле «камни немалым числом валятся». Потому в 1767 году было принято решение «о разрытии городового вала» и разборке оставшихся деревянных стен. Вероятно, для этих работ и был составлен первый масштабный план всех оборонительных сооружений города, хранящийся в Военно-историческом архиве. Этот документ служит пока единственным источником сведений об устройстве белокаменных укреплений русского города-крепости.
Руины Серпуховского кремля обратили на себя внимание составителей «Атласа к материалам для статистики Российской империи», вышедшего в Петербурге в 1839 году. На помещенных в нём двух литографиях с изображением Серпухова отмечена лишь одна юго-западная полубашня, а стены показаны с большими утратами и разрушениями. Возможно, такая картина явилась помимо всего прочего ещё и следствием известного указа Павла I, предписавшего в 1797 году разобрать обветшавшие крепостные сооружения древних подмосковных городов. И тем не менее в 1852—1853 годах Серпуховский кремль как признанный «памятник древности» был укреплен и фрагментарно реставрирован. Спустя некоторое время (1888) Археологическое общество добилось ассигнования денежных средств на дальнейшую реставрацию наиболее полно сохранившихся фрагментов.
Зимой 1934 года кремль был разобран на материал для строительства Московского метрополитена. На кремлёвском холме остались лишь два крохотных фрагмента стен.