Miasto Kazimierz otrzymało prawdopodobnie taką nazwę dzięki siostrom norbertankom. Zakonnice otrzymały bowiem osadę, zwaną wówczas Wietrzna Góra, wraz z okolicznymi ziemiami od Kazimierza Sprawiedliwego. Było to w 1181 roku.
Natomiast na samym początku XIV wieku ziemie przeszły w ręce Kazimierza Wielkiego i od tej pory zaczęło powstawać miasto królewskie. Został zbudowany zamek i kościół. Kazimierz na Wisłą rozwijał się coraz bardziej w XVI i XVII wieku. Było to możliwe przede wszystkim dzięki dobrym warunkom dla handlu wodnymi szlakami. Miasto posiadało duży port i spichlerze. Handlowano główne zbożem, ale także mąką, solą, drewnem, skórami itd.
W tym też czasie powstały najpiękniejsze budowle miasta, z których część do dziś stanowi dużą atrakcję Kazimierza Dolnego. Wcześniejsze pożary przyczyniły się do zmiany techniku budowania – powstawały budowle murowane zamiast drewnianych. Jednak wojny ze Szwedami i wojna północna zachwiały pozycją Kazimierza. Miasto zostało częściowo zniszczone, podupadł też handel. Natomiast zupełny upadek nastąpił podczas rozbiorów. W XIX wieku Kazimierz stracił nawet prawa miejskie.
Kazimierz nad Wisłą zaczął zyskiwać znów na znaczeniu pod koniec XIX wieku jako miejscowość letniskowa. Chociaż podczas I wojny światowej nastąpiły dalsze zniszczenia Towarzystwo Opieki nad Zabytkami Przeszłości zajęło się szybką odbudową i Kazimierz stał się prawdziwym miastem artystów. Przyjeżdżali tu różni sławni twórcy i organizowali imprezy artystyczne. Za nimi zjeżdżało też coraz więcej turystów. Wypoczynek w Kazimierzu nad Wisłą stał się wręcz modny. Zakłóciła ten stan II wojna światowa, ale tylko na chwilę.