Il passato di Vysehrad è avvolto dal mistero. Secondo le antiche leggende era la residenza originaria dei principi cechi. Agli esordi della monarchia ceca Vysehrad è stata la splendida residenza di alcuni sovrani ed eguagliava per importanza il castello di Praga.
L’esistenza di due castelli uno vicino all’altro era insolita e in antiche fonti ebraiche Praga veniva anche detta “Mezigrady”, ovvero “città tra due castelli”. A Vysehrad risiedeva il primo re ceco Vratislav II (1061-1092), che fece costruire il palazzo reale, la basilica dei Santi Pietro e Paolo e il più antico edificio romanico rimasto a Vysehrad, la Rotonda di S. Martino. La Vysehrad romanica era costituita da un ampio castello, da molte chiese e da un vivace mercato nel borgo.
L’imperatore Carlo IV fece costruire nuove fortificazioni e ristrutturò l’intero castello. Fino ad oggi si sono conservati, ad esempio, i resti della fortezza gotica sulla rupe che si affaccia sulla Moldava, dette terme di Libuse.
Dopo la battaglia del 1420 L’intera Vysehrad fu distrutta dalle vittoriose truppe husite. Tale disastro implicò la rovina dell’intero castello. Vysehrad non si è mai più risollevata e al posto dell’antico castello sono rimaste soltanto le rovine.
Negli anni 1650-1680 Vysehrad fu trasformata in una fortezza barocca di importanza strategica su decisione del consiglio militare viennese. La costruzione, a cui si dedicò Carlo Lurago, tuttavia non fu mai terminata in tutta l’ampiezza prevista.
Nel XIX secolo Vysehrad ha attraversato una nuova fase di ricostruzione. Nel 1885 è iniziato il restauro della basilica dei Santi Pietro e Paolo in stile neogotico, che ha fissato l’aspetto attuale di Vysehrad.