Выборгский замок был возведён на небольшом острове (170 х 122 м) в Финском заливе. Является древнейшим из выборгских укреплений — он восходит к XIII веку. В России это один из немногочисленных полностью сохранившихся памятников западноевропейского средневекового военного зодчества.

Выборгский замок был основан шведами в 1293 году, в ходе Третьего крестового похода на Карельскую землю. По средневековой русской терминологии: на землю племени корела — союзника Великого Новгорода. Как показали археологические раскопки 1980-х годов, ранее на Замковом острове располагался укрепленный пункт карел, разрушенный взявшими его шведами. По решению регента шведского короля Торгильса Кнутссона, на Замковом острове построен был мощный замок, получивший название Выборг. Шведы окружили возвышенную часть острова стеной, а в центре возвели каменную башню, квадратную в плане. Высокая дозорная и боевая башня наречена была в честь норвежского короля, крестителя Скандинавии Олава Святого. Башня эта долгое время считалась самым высоким донжоном Скандинавии. Толщина крепостных стен составляла 1,5—2 метра, а толщина стен башни — 4 м. Сверху стены завершались зубцами, а по периметру шла навесная деревянная галерея, боевой ход. Выборгский замок стал центром Выборгского лена, надёжным форпостом распространения шведского влияния на земли Карельского перешейка, оставаясь неприступным вплоть до 1710 года.

Новгородская республика не желала мириться с потерей карельских земель, и уже в 1294 году дружина Новгорода Великого осадила Выборг, но взять его новгородцы не смогли. Неудачным был и военный поход против шведов в 1322 году: войско под предводительством князя Юрия Данииловича безуспешно простояло под стенами замка целый месяц, несмотря на применение камнемётных машин. В 1323 году, по Ореховецкому мирному договору Новгорода и Швеции, граница между ними была установлена по реке Сестре, часть Карельского перешейка вместе с Выборгом отошла к Швеции.

В 1442—1448 годах наместник короля Карл Кнутссон Бунде, как сообщает хроника того времени, «потратил много средств на строительство крепости… создал красивейшие палаты, покрыл их крышей, заставил построить вокруг стену с зубцами, более красивого замка нельзя найти…». По периметру острова была возведена оборонительная стена, образовавшая т. н. «нижний двор» замка. Внешняя стена включала в себя несколько квадратных в плане боевых башен (Пожарная, Сторожевая, Новая, Башмачника). Когда Бунде стал королём Швеции, сменившие его на посту наместника Эрик Аксельссон Тотт и Стен Стуре Старший продолжили обустройство замка и совершенствование укреплений. Была построена первая круглая в плане башня, получившая название Райской. Были также обновлены рыцарские залы и парадные комнаты. В зданиях появились изразцовые печи, стены башни св. Олава (англ.) были обшиты деревянными панелями, верхний двор замостили камнем. Эрик Аксельссон Тотт также окружил город, выросший на полуострове перед замком, каменной стеной с 9 башнями и 2 бастионами, земляным валом и рвом, наполненным водой. Старый замок постепенно превратился в тыловую позицию крепости.

Новый этап серьёзных строительных работ начался после того, как в 1556 году замок посетил шведский король Густав Ваза. Башни и здания вновь перестраиваются. Береговая линия дополнительно укрепляется деревянными шканцами и больверками. В 1564 году главная башня надстраивается до 7 этажей, причем верхняя часть получила восьмигранную форму с прорезанными в трехметровых стенах пушечными бойницами, позволявшими вести круговой обстрел. В кладке донжона впервые используется кирпич. Облик, который башня получила в этот период, в основном сохранился до наших дней. Лишь перестраивается внутренность башни и несколько раз меняется сильно страдавший от пожаров XVII — XIX веков верх.

В конце XVI — начале XVII века подвергается основательной перестройке предмостное укрепление замка. Сначала вместо деревянных шканцев и временного бастиона сооружаются облицованные камнем валы, а потом все предмостные сооружения объединяются в дом наместника — самое роскошное и надежное здание в Выборге того времени. На острове вырыто несколько прудов, в одном из которых архитектор Вевель устраивает фонтан. Во второй половине XVII века вдоль внешней северо-западной стены строятся каменные казармы.

13 июня 1710 года, после более чем двухмесячной осады и бомбардировок, город был взят войсками Петра I и последний шведский комендант города полковник Магнус Шернстроле сдался на милость победителя. Потерпевший значительный урон замок интенсивно ремонтируется, однако после строительства в конце XVI века Рогатой крепости и Анненских укреплений во второй половине XVIII века, надежно прикрывших город со стороны Швеции, военное значение замка стремительно идет на убыль, его начинают использовать для размещения гарнизона.

В 1856 году в замке был организован праздничный фейерверк по случаю открытия Сайменского канала, закончившийся грандиозным пожаром. После пожара замок три с половиной десятилетия пустовал.

После пожаров 1834 и 1856 годов большая часть сооружений была разрушена, а оставшиеся перепрофилировались под склады. В здании казарм размещается тюрьма, где, в частности, содержались в заточении декабристы П. А. Муханов, И. А. Анненков, М. Ф. Митьков и М. С. Лунин. В 1860 году замок официально был признан негодным к обороне, и его вывели из подчинения военному министерству.

В конце XIX века — начале XX века архитектор Ю. Аренберг разработал проект организации в замке исторического музея, однако его осуществление затянулось и не было доведено до конца. В 1888 году император Александр III предписал Военному министерству произвести ремонт замка и приспособить оный под свои нужды. Было выделено 460 тыс. рублей на проведение масштабной реконструкции замка.

Восстановление и реконструкция замка были проведены в 1891—1894 годах российским Военно-инженерным ведомством, под руководством инженер-полковника Э. Лезедова. Внешние очертания замка почти не изменились, но была радикально изменена внутренняя планировка его помещений: стрельчатые и полуциркульные своды заменены балочными перекрытиями, появились новые оконные проёмы (но уже без средневековых каменных скамеек в нишах), другие уровни этажей и стены без каминов и очагов. У входа в башню было построено гранитное крыльцо, а внутри башни — металлическая лестница для подъема на смотровую площадку. В таком виде замок дошёл до наших дней.

Во время войн 1939—1944 годов замок пострадал не сильно, разве что от нескольких пожаров, и после победы был передан советским военным.

В 1964 году министерство обороны СССР передало замок под будущий музей, который открылся в 1970 году, после тщательного изучения ансамбля и проведения архитектурно-археологических работ Эстонским реставрационным управлением под руководством архитектора Х. И. Потти, искусствоведа Е. А. Кальюнди и при научной консультации доктора исторических наук П. А. Рапопорта. С 2000 года музей называется Государственным музеем «Выборгский замок».