Wedle Dra Ringelbluma najstarsza wzmianka o cmentarzu żydowskim ("cimiterium Judaeorum") w Warszawie znachodzić się ma w pewnym dokumencie księcia mazowieckiego Bolesława V (początek 16-go wieku), który dotyczy opłat od domu niejakiego Mikołaja Pomiana, mieszczanina warszawskiego. W dokumencie tym określone jest położenie owego domu w następujący sposób: "obok cmentarza żydowskiego, leżącego na drodze wiodącej do Czerska". Wynikałoby stąd, że najstarszy cmentarz żydowski w Warszawie, znajdował się na dzisiejszym Krakowskim Przedmieściu u wylotu ulicy Świętojańskiej, niedaleko ówczesnego cmentarza chrześcijańskiego. Zajmował on niewielką przestrzeń, skoro cała gmina żydowska w Warszawie liczyć mogła w okresie średniowiecznym do 120 dusz. Dzieje tego cmentarza sięgają początkami najprawdopodobniej już 14-go wieku. W każdym razie istniał on już w latach 1428-1429, z których pochodzą pierwsze źródłowe wiadomości o istnieniu żydowskiej organizacji samorządowej w Warszawie ze starszyzną żydowską na czele.

Jako instytucja kahału przestaje istnieć opisany cmentarz z rokiem 1498, w którym nastąpiło wygnanie Żydów z Warszawy. Co prawda w latach od 1498 do 1527 próbują się dostać do Warszawy niektórzy wygnańcy żydowscy, a nawet zachowały się z tego okresu wiadomości o Żydach, którzy w Warszawie przeprowadzali różne transakcje, lecz wszyscy ci "szczęśliwcy" bawili tu jeno czasowo, bez prawa osiedlania się na stałe i restytuowania zlikwidowanego życia gminnego. Ostatecznie położył kres tym próbom nowego osadnictwa pamiętny przywilej "de non tolerandis Judaeis", jakie mieszczaństwo warszawskie uzyskało w r. 1527 od Zygmunta I. Los wszakże instytucyj dawnej gminy żydowskiej został przypieczętowany na kilka lat przed wydaniem tego przywileju. I tak książęta mazowieccy Jan i Stanisław podarowali jeszcze w roku 1522 plac, na którym stała przedtem bóżnica (snać zburzona w roku wygnania) niejakiemu Kozirskiemu z Warszawy. W tym samym mniej więcej czasie książęta podarowali parafii św. Jana opustoszały plac, jaki pozostał po zdewastowaniu cmentarza żydowskiego. W kilka później (w r. 1531) stanęła na tym placu. piekarnia (domus pro pistande pane). Informująca nas o tym uchwała przełożonych parafii św. Jana jest ostatnim śladem, jaki zachował się po najstarszym żydowskim cmentarzu w Warszawie.