Esbern Snare
Det var Esbern Snare, der slog stregerne i sandet og tegnede bymurene, voldanlægget og gaderne i den by, der skulle bygges i forbindelse med hans borg (Vester forborg). Går mdu op i Højbyen i dag, finder du Adelgade og de to gader op langs bymuren præcis der, hvor Esbern i sin tid bestemte, de skulle ligge.

I de første århundreder forblev byen inden for den beskyttende bymur. Så når byen voksede, foregik det opad. Alle huse fik derfor to etager – ser man op på førstesalen af de smukke gamle huse, vil man se, at den øverste etage flere steder rager ud over underetagen. Et arkitektonisk kunstgreb, der gav mere plads i den snævre by.

Senere flyttede først håndværkerne og senere købmandsgårdene uden for bymuren for at få bedre plads (og sikkert også for at undgå at betale told ved bymuren – skattesnyd er ikke af nyere dato).

Valdemar Atterdag (ca. 1320–1375)
- Konge af Danmark fra 1340-1375.
Kalundborg (Vestre forborg) skifter hænder mange gange i løbet af de næste par hundrede år. Valdemar Atterdag forsøger i år 1341-42 at samle det danske kongerige og han prøver at belejret Kalundborg, der på dette tidspunkt er i hænderne på en holstensk grev, Grev Johan. Det lykkes ikke Valdemar Atterdag at indtage den velbefæstet Kalundborg.

Valdemar Atterdag mageskifter sig til Kalundborg omkring år 1344. Hvor han lader Kalundborg Slot (Østborgen) bygge. Slottet bestod af et femfløjet bygningskompleks omgivet af dobbelte ringmure. Langs indersiden af den yderste ringmur lå også en del huse mellem de store forsvarstårne.