Pierwszy cmentarz żydowski w Warszawie założono w średniowieczu poza murami miasta, prawdopodobnie u wylotu ul. Świętojańskiej. Emanuel Ringelblum lokalizację nekropolii opierał na zapisie zawartym w jednym z dokumentów księcia Bolesława V, wzmiankującym cmentarz żydowski " na drodze, wiodącej do Czerska". Cmentarz ten mógł istnieć zapewne już w XIV wieku i funkcjonował do końca XV wieku, kiedy to wypędzono Żydów z Warszawy. Wiadomo, że około 1520 roku książęta mazowieccy Jan i Stanisław podarowali plac po zniszczonym cmentarzu żydowskim parafii św. Jana. Materiały źródłowe podają, że w 1531 roku w tym miejscu zbudowano piekarnię.

Przez ponad dwieście lat warszawscy Żydzi byli grzebani w Grodzisku Mazowieckim, Sochaczewie, Węgrowie i Nowym Dworze Mazowieckim. Stan ten trwał do 1780 roku, kiedy z inicjatywy warszawskiego bankiera i przedsiębiorcy Szmula Zbytkowera, król Stanisław August Poniatowski wydał zgodę na utworzenie cmentarza żydowskiego na prawym brzegu Wisły, przeznaczając na ten cel parcelę o wymiarach 150 na 150 łokci. Biskup płocki Michał Jerzy Poniatowski, zezwalając na chowanie zmarłych, postanowił, by "Żydzi co rok na dzień św. Jana po 10 kamieni łoju dla kościoła parafialnego w Skaryszewie dostarczali", zabraniając jednocześnie śpiewów i procesji podczas ceremonii żałobnych. Według Ignacego Schippera, pochówki w tym miejscu odbywały się już wiele lat wcześniej. Księgi praskiej gminy żydowskiej wymieniały bowiem zmarłych z połowy XVIII wieku: Rudę córkę Cwi, zm. w 1743 roku czy Menachema Mendla ha-Kohena, zm. w 1757 roku. Można zatem zakładać, że w 1780 r. Szmul Zbytkower dokonał formalnego przejęcia gruntu działającego wcześniej cmentarza.

W 1784 r. cmentarz został ogrodzony murowanym parkanem, a prace sfinansowała żona Szmula Zbytkowera, Gitla Jakubowiczowa córka Jehudy Lejby Buka. Rok później powstało bractwo pogrzebowe Chewra Kadisza, kierowane przez samego Szmula Zbytkowera. Według kroniki Chewra Kadisza, pierwszy pogrzeb na zalegalizowanym już cmentarzu miał miejsce w 1784 roku - pochowano wtedy Elchanana syna Jekusjela. Podczas insurekcji kościuszkowskiej w 1794 r. mur cmentarny uległ częściowemu zniszczeniu. W 1810 r. doszło do zawarcia umowy, na mocy której Gitla Jakubowiczowa, wdowa po zmarłym 1801 r. Szmulu Zbytkowerze, przekazała cmentarz pod zarząd Bractwa Praskiego, które zobowiązało się m. in. do odbudowy ogrodzenia i wzniesienia domu przedpogrzebowego. W 1870 r. administrację cmentarzem przejęła Gmina Żydowska w Warszawie.

Od czasów powstania w 1806 roku cmentarza przy ul. Okopowej, cmentarz bródnowski przyjmował pochówki osób raczej niezamożnych. Leon Przysuskier w wydanej w 1936 roku książce Cmentarze żydowskie Warszawy tak scharakteryzował macewy na Bródnie: "Jest tu niewielka ilość grobów z XVIII wieku, nosząca cechu dobrego rzemiosła artystycznego, a często nawet oryginalnej sztuki, pełnej reminiscencyj barokowych i wschodnich. (....) Poza tym niewielka ilość grobów z lat 1760-1780 z okresu przed oficjalnym założeniem cmentarza. Na ogół na tym cmentarzu znajduje się mało ciekawych pomników".

Powierzchnia grzebalna była sukcesywnie powiększana. Do najstarszej, niewielkiej działki (znajdującej się w obecnym północno-zachodnim narożniku) dokupiono kolejne grunty, które łącznie zajęły 14,6 ha. Główna brama i dom przedpogrzebowy stały w części północnej, od strony dzisiejszej ul. św. Jacka Odrowąża.

Na cmentarzu pochowany został między innymi Szmul Zbytkower. Jak podaje uprzednio cytowany L. Przysuskier, na grobie Zbytkowera postawiono "pomnik w formie empirowego sarkofagu, posiadające epitafium hebrajskie i polskie, głoszące: "Pan i Przywódca Czterech Ziem", wykonany według projektu Dawida Frydlendera. Tu również złożono ciało Abrahama Sterna, członka Warszawskiego Towarzystwa Naukowego i wynalazcy między innymi triangułu mierniczego, mechanicznej młockarni oraz zaawansowanej na owe czasy maszyny liczącej. Na cmentarzu znajdowały się trzy ohele, chroniące groby cadyków: Jony Melwergera, Eleazara Izraela Aszkenazego oraz prawdopodobnie Fajwla Lewińskiego.

Cmentarz służył jako miejsce pochówku do czasu utworzenia getta w Warszawie. Ostatnie pogrzeby odbyły się na nim w listopadzie 1940 roku.

Podczas II wojny światowej Niemcy rozebrali ogrodzenie i usunęli część pomników. Emanuel Ringelblum w dniu 12 maja 1942 roku tak pisał o niszczeniu tej nekropolii: "Praski cmentarz, liczący ponad 150 lat, podlega niwelacji. Szatani nie dają spokoju nawet nieboszczykom". Jednocześnie cmentarz dewastowała okoliczna ludność. Już na początku 1940 r. Adam Czerniaków pisał o "poszukiwaniu brylantów", a kilka miesięcy później o rozbijaniu nagrobków młotami przez wyrostków.

W czasie Powstania Warszawskiego na cmentarzu odbywały się egzekucje. Wiadomo, że 24 sierpnia 1944 r. gestapowcy rozstrzelali i pogrzebali w miejscu mordu osiem osób, wśród nich księdza i dziewczynkę w wieku około 12 lat, 25 sierpnia - czterech młodych mężczyzn, a 27 sierpnia - około 30 osób.

8 grudnia 1947 roku odbyło się uroczyste złożenie do wspólnej mogiły szczątków Żydów, ekshumowanych w różnych częściach Warszawy.

Po wojnie cmentarz przez wiele lat niszczał i stanowił źródło pozyskiwania surowca do prac kamieniarskich i budowlanych. W latach 50. władze podjęły decyzję o przekształceniu cmentarza na teren zielony. Tysiące macew ściągnięto traktorami w jedno miejsce, tworząc bezładne składowisko nagrobków. Zrezygnowano jednocześnie z upamiętnienia cmentarza - Wydział Kultury KC uważał "za absolutnie niecelowe wzniesienie jakiekolwiek mauzoleum czy pomnika w parku, który ma powstać na tym terenie". 27 lipca 1960 r. cmentarz został oficjalnie zamknięty i znacjonalizowany.

Proces niszczenia cmentarza opisał na łamach "Słowa Żydowskiego" Tadeusz Rowicki: "Dewastacja cmentarza na wielką skalę rozpoczęła się już po wojnie. Było to w 1952 r. Pamiętam dokładnie grupę robotników zatrudnionych przy rozbieraniu grobów kierował mój szkolny kolega. Odbywało się to w ten sposób, że zdemontowane płyty nagrobne robotnicy rzucali na zaprzężoną w konie platformę, a następnie przewożono je w jedno, usytuowane po środku cmentarza miejsce. Tam je zostawiano. Większość tych pomników rozkradziono. Okoliczni mieszkańcy robili z nich osełki do ostrzenia noży lub wykorzystywali płyty nagrobkowe z piaskowca jako materiał budowlany. Potem, na zniwelowanym terenie posadzono gęsty zagajnik sosnowy. (...). W połowie lat 70-tych zaczęto kończyć dzieło zniszczenia w sposób jeszcze brutalniejszy. W wielu miejscach, na obrzeżach cmentarza wykopywano szczątki ludzkie i wywożono je na miejskie wysypisko śmieci". Nagrobki użyto do budowy murków i pergoli w Parku 13 Września 1944 roku (od 2005 r. - Parku im. płk. Jana Szypowskiego "Leśnika"), murku w kwaterze żołnierzy Armii Czerwonej na Cmentarzu Bródnowskim oraz krawężników w ogrodzie zoologicznym w pobliżu klatki z małpami.

Przez kolejne dekady rozległy, porośnięty drzewami teren stał się miejscem niebezpiecznym, na którym na porządku dziennym były libacje, a nawet napady rabunkowe. Jeszcze na początku XXI w. oficjalne przewodniki turystyczne odradzały zwiedzanie cmentarza.

W latach osiemdziesiątych XX wieku z inicjatywy Fundacji Rodziny Nissenbaumów cmentarz częściowo uporządkowano, a jego większą część (13,5 ha z 14,6 ha) ogrodzono wysokim płotem. Od strony ul. św. Wincentego postawiono ozdobną bramę. Płaskorzeźby na pylonach zostały wykonane według projektu Dariusza Kowalskiego, Teresy Pastuszki i Leszka Waszkiewicza i przedstawiają przekazywanie pokoleniowej pamięci oraz Żydów modlących się przed egzekucją. Ta ostatnia scena jest śladem bolesnych przeżyć Zygmunta Nissenbauma, prezesa Fundacji Rodziny Nissenbaumów, który jako kilkunastoletni chłopiec podczas wojny ukrywał się na terenie tej nekropolii. W książce Ratowanie śladów kultury żydowskiej w Polsce. Żywym i umarłym, Zygmunt Nissenbaum napisał: "W sąsiedztwie rodzinnych grobów czuliśmy się względnie bezpiecznie, choć i tam nierzadko chodziły patrole i policyjne obławy oraz wykonywane były egzekucje. Tam właśnie, jeszcze w pierwszych miesiącach moich eskapad, widziałem budzącą grozę u młodego przecież chłopca, jakim wówczas byłem, scenę rozstrzelania dziesięciu osób na czele z rabinem niosącym torarolę. Tą wstrząsającą dla mnie scenę, jako symbol zagłady, zaprojektowałem teraz w formie płaskorzeźby na jednym z pylonów bramy wejściowej".