Nie wiemy, gdzie ząbkowiccy Żydzi grzebali swych zmarłych w okresie średniowiecza. Marcin Wodziński w książce j Hebrajskie inskrypcje na Śląsku XIII-XVIII wieku, powołując się na opracowania autorstwa M. Branna, przypuszcza, że miejscem tym mógł być cmentarz żydowski w Świdnicy - od 1370 roku jedyna nekropolia wyznania mojżeszowego na terenie księstwa.
Pierwszy dziewiętnastowieczny cmentarz żydowski w Ząbkowicach Śląskich został utworzony w 1814 roku, na mocy edyktu króla Fryderyka Wilhelma III. Nekropolia ta znajdowała się przy Przedmieściu Wrocławskim, dzisiejszej ul. 1 Maja. Z nieznanych nam przyczyn w późniejszych latach część cmentarza została wywłaszczona. Za uzyskane z tego tytułu odszkodowanie w 1880 roku gmina żydowska wykupiła budynek dzierżawionej dotychczas synagogi oraz urządziła nowy cmentarz położony u zbiegu dzisiejszych ulic Głowackiego i Wrocławskiej, naprzeciwko obecnego Zespołu Szkół Ponadgimnazjalnych. Na cmentarzu znajdował się dom mieszkalny z dobudowaną do niego kostnicą. W domu mieszkali szkolnik - pomocnik w synagodze - oraz stróż cmentarza. Po II wojnie światowej z terenu nekropolii znikły ostatnie nagrobki, dziś w tym miejscu jest jedynie trawnik.