W drugiej połowie XIX w., wobec szybkiego rozwoju osadnictwa żydowskiego w Kielcach, miejscowy dozór bóżniczy zostały postawiony wobec konieczności organizacji miejsca pochówku.  Wcześniej nieliczni Żydzi kieleccy grzebali swych zmarłych na cmentarzu w pobliskich Chęcinach.  W tym celu w 1868 r. zakupiono grunt na terenie folwarku Pakosz, u zbiegu obecnej ul. Pakosz i Al. Na Stadion.  W tym czasie była to parcela położona poza terenem zabudowanym. Majer Bałaban w wydanym w 1929 r. opracowaniu  Zabytki historyczne Żydów w Polsce napisał, że Żydzi kieleccy  "kupili plac pod cmentarz bardzo daleko od miasta i tamże do dzisiaj chowają swych zmarłych".

Pierwszy znany pogrzeb miał miejsce dwa lata później. Pochowano wtedy zmarłego 9 stycznia 1870 r. Moszka Herszka syna Chercyka Grosmana. Organizacją pogrzebów i zarządzeniem cmentarzem zajmowała się Chewra Kadisza (aram. Bractwo Święte), założone w 1870 r. przez Dawida Mojżesza Ajzenberga i Izraela Szafira. W Kielcach działało też towarzystwo Chesed Szel Emet, które pokrywało koszty pogrzebów osób najuboższych i samotnych. Do 1870 r. wybudowano dom przedpogrzebowy, urządzono mieszkanie dozorcy i grabarza, wzniesiono ogrodzenie i utwardzono drogę dojazdową. Powierzchnia cmentarza została powiększona w latach 20. XX wieku. Wejście na cmentarz znajdowało się w północno-wschodniej części, tu również stał dom przedpogrzebowy.

W 1936 r. zarząd gminy żydowskiej przedstawił projekt rozbudowy i przebudowy domu przedpogrzebowego. W dwukondygnacyjnym budynku miały znajdować się m.in. dwie poczekalnie, toalety, "trupiarnia" i sala do sekcji zwłok. Nie wiadomo czy inwestycja została zrealizowana.

Cmentarz jest miejscem pochówku wielu osób, które odegrały znaczącą rolę w życiu Kielc.  Pochowani na nim zostali m.in.:
- Chaim Szmuel Horowitz, cadyk z Chęcin, prawnuk Widzącego z Lublina, zmarły w 1913 roku,
- Motele Twerski "Mordechaj Kuzmirer", cadyk z dynastii czarnobylskiej, zmarły w 1917 roku,
- Ozer Abraham Rabinowicz, syn Cemacha z Szydłowa, cadyk w Rakowie, a od 1918 r. w Kielcach, zmarły w 1925 roku,
- Elimelech Jakub Rabinowicz, zięć Hilela Finklera z Radoszyc, cadyk w Suchedniowie i Kielcach, zmarły w 1938 roku.

W 1931 r. wydana została książka pod tytułem Dom żywych, zawierająca wykonany przez Mosze Menachema Mendla spis ponad 1420 osób pochowanych na tym cmentarzu.

Podczas drugiej wojny światowej, po zamknięciu ludności żydowskiej w getcie, zmarłych chowano w pobliżu Silnicy. Był to jeden z kilku - obok Augustowa, Białegostoku, Legionowa i Wyśmierzyc - tzw. cmentarzy gettowych.

Adam Helfand o cmentarzu gettowym w Kielcach

"Trupy odwożono wozami do dołów wykopanych zawczasu specjalnie tym celu. Groby te znajdowały się przy ulicy Nowy Świat (nazwa przedwoj.) nad rzeką Silnicą, przepływającą przez dzielnicę żydowską. Teren ten nadawał się na cmentarz, gdyż był piaszczysty. Likwidowanie dzieci i dziecińca odbywało się według opowiadania będących przy tej procedurze, w sposób następujący: dzieci ustawiano po pięciu w szeregu, po czym jeden z musiał ustawić ich główki w ten sposób, by skronie były jednym poziomie i przylegały do siebie. Wówczas podchodził gestapowiec, by jednym strzałem skierowanym w skroń dziecka stojącego z brzegu, położyć trupem pozostałych czterech. (...)
[Na cmentarzu] trwała gorączkowa praca przy kopaniu olbrzymich dołów, do których były wrzucane ofiary akcji. Robotę pilnowało kilkunastu przedstawicieli "wyższej rasy" z oddziałów SS i SD i żandarmi. Zanim ofiary pogrzebano, musieliśmy rozbierać do naga. Odzież palono, a w popiołach służalcy hitlerowscy szukali złota. Niektórzy z naszych towarzyszy zmuszani byli terrorem, pod groźbą śmierci własnoręcznie złote zęby trupom".

Źródło: AŻIH, Relacje ofiar Zagłady, sygn. 301/1309, Relacja A. Helfanda.

W 1956 r. Towarzystwo Społeczno-Kulturalne Żydów w Polsce w liście do Prezydium Miejskiej Rady Narodowej w Kielcach alarmowało:  "Cmentarz znajduje się w opłakanym stanie, mur jest systematycznie rozbierany, wiele nagrobków jest rozbitych i rozrzuconych, groby są profanowane, a pomnik ofiar pogromu zbezczeszczono różnymi napisami".  W tym samym roku urzędnicy kieleckiej Rady Narodowej w poufnym piśmie skierowanym do Urzędu do Spraw Wyznań donosili, iż  "cmentarz pożydowski w Kielcach został bezprawnie zajęty przez Spółdzielnię Pracy "22 lipca", która na terenie cmentarza urządziła skład węgla, koksu, żużlu, piasku, gliny. Z kostnicy (.....) Zarząd Spółdzielni zrobił modelarnię". W 1956 r. Minister Gospodarki Komunalnej wydał decyzję o zamknięciu części cmentarza.

5 czerwca 1963 r. PMRN wezwało Spółdzielnię "22 Lipiec" do opuszczenia terenu cmentarza. Decyzja nie została jednak wyegzekwowana. W tym czasie powstał projekt budowy lapidarium.

21 maja 1964 r. PMRN przyjęło uchwałę o likwidacji zamkniętej części cmentarza, z wyłączeniem fragmentu przewidzianego na upamiętnienie. Cmentarz był stale dewastowany przez mieszkańców, o czym świadczy pismo z 15 września 1964 r., w którym PMRN wzywało milicję do "roztoczenia szczególnej opieki" nad cmentarzem, który "podlega systematycznej dewastacji poprzez niszczenie ogrodzenia i nagrobków, wypasanie bydła i kur, niszczenie zieleni oraz działalność ludności nie licującej z powagą miejsca". 9 października 1964 r. PWRN złożyło wniosek o zamknięcie pozostałej części cmentarza. W tym czasie, w opinii wojewódzkich urzędników, cmentarz stanowił "poważną przeszkodę w urbanistycznym rozplanowaniu dzielnicy".

29 stycznia 1965 r. Ministerstwo Gospodarki Komunalnej zamknęło do celów grzebalnych pozostałą część cmentarza i zezwoliło na przeznaczenie go na inny cel.

W 1966 r. odbyła się akcja "porządkowania cmentarza", do której w ramach tzw. czynu społecznego zaangażowano pracowników Zakładów Precyzyjnych "Iskra". Dokumentację prac zawdzięczamy Januszowi Buczkowskiemu, który w tym dniu wykonał serię fotografii. Widać na nich cmentarz pokryty licznymi nagrobkami, w większości poprzewracanymi i usuwających je co najmniej kilkudziesięciu pracowników, wyposażonych w łomy, oskardy, szpadle i łopaty. Nagrobki przy pomocy dźwigu umieszczano na samochodzie ciężarowym i wywożono. Na jednym ze zdjęć uwagę zwraca sześciu elegancko ubranych mężczyzn przewracających macewę - jak się okazuje, członków kadry kierowniczej i zakładowego komitetu PZPR.

Wiosną 1971 r. w urzędniczej korespondencji ponownie poruszano kwestię urządzenia miejsca pamięci. Jednocześnie Zrzeszenie Gospodarki Komunalnej zaleciło "całkowite uprzątnięcie kamieni i wyrównanie terenu".

Późniejszą dewastację cmentarza opisywał Krzysztof Kąkolewski w swym tekście zatytułowanym  Umarły cmentarz,  opublikowanym na łamach  "Tygodnika Solidarność"  (nr 51 z dn. 16 grudnia 1994 r.):   W stanie wojennym (...) pobliska jednostka wojskowa w czynie społecznym, w niedziele, wywoziła macewy ciężarówkami w nieznanym kierunku. Pieniądze na to szły z budżetu na obronę państwa. Nagrobki zostały potraktowane prawdopodobnie jako materiał przy budowie fundamentów, schodów; jako chodniki w willach czerwonych baronów".

Na zmianę tego stanu rzeczy przyszło czekać aż do lat osiemdziesiątych. W 1983 r. z funduszy miasta rozrzucone macewy zebrano i utworzono z nich lapidarium. W latach 1986-1987 staraniem Fundacji Rodziny Nissenbaumów i ziomkostwa kieleckich Żydów, cmentarz ogrodzono i uporządkowano. Uroczystość oddania odnowionego cmentarza wyznaczono na przypadającą w dniu 23 sierpnia 1987 r. czterdziestą piątą rocznicę likwidacji getta w Kielcach. Uczestniczyło w niej kilkaset osób, m.in. przedstawiciele kościoła katolickiego z biskupem Henrykiem Muszyńskim na czele. Jeszcze później, bo dopiero w 2007 roku, dzięki wysiłkom między innymi rabina Lejba Surkisa, doszło do odzyskania ohelu Kuzmirera. Budynek został odnowiony i ogrodzony, wewnątrz ustawiono nagrobki, a przy wejściu zamontowano tablicę informacyjną.

Do dziś na terenie cmentarza zachowało się około 250 nagrobków i ich fragmentów, które wykorzystano do budowy pomnika oraz ustawiono w rzędach. Można odnaleźć liczne obmurowania i elementy konstrukcji zniszczonych grobowców. Uwagę zwraca pomnik, upamiętniający dzieci z obozu pracy działającego przy ul. Jasnej i ul. Stolarskiej, zgładzone w maju 1943 roku. Umieszczono na nim imiona i nazwiska ofiar oraz napis o treści: "Tu spoczywają święte prochy naszych 45-ciorga najdroższych niewinnych dzieci, zamordowanych w bestialski sposób przez niemieckich zbrodniarzy dnia 23 maja 1943 r. Najmłodsze 15 miesięcy do 15 lat".

Zbiorową mogiłę ofiar pogromu kieleckiego początkowo oznakowano prostą macewą, na której wyryto Gwiazdę Dawida oraz napis w językach hebrajskim i polskim: "Tu spoczywają prochy 42-ch ofiar zajść kieleckich z dnia 4 lipca 1946 r. Cześć ich pamięci!". W 2010 r. z inicjatywy Stowarzyszenia im. Jana Karskiego i przy wsparciu osób prywatnych powstał nowy monument nagrobny ofiar pogromu w Kielcach. W celu realizacji tego zamierzenia ukonstytuował się Społeczny Komitet Restytucji Pomnika Ofiar Pogromu Kieleckiego pod przewodnictwem Bogdana Białka, prezesa Stowarzyszenia. Ponadto w skład Komitetu weszli: Dr Michael Schudrich, Naczelny Rabin Polski, Wojciech Lubawski, Prezydent Miasta Kielce, Prof. Marek Cecuła artysta, oraz Yaacov Kotlicki prezes Kielce Society In Israel (Ziomkostwa Kieleckie w Izraelu). Pomysłodawcom idei budowy nowego grobowca przyświecały dwa cele - utrwalenie pamięci o pochowanych w nim ofiarach masowej zbrodni oraz nadanie temu miejscu głębokiej symboliki ujętej w estetyce artystycznej formy. Stary grobowiec był bowiem bezimienny, na jego wyglądzie zaś wyraźnie odcisnęło się piętno upływającego czasu i wieloletniego braku stosownej konserwacji. Autorem projektu nowego grobowca jest prof. Marek Cecuła. Główna płyta pomnika wykonana jest z piaskowca szydłowieckiego. Wyryte na niej zostały nazwiska wszystkich ofiar pogromu - zarówno tych, które zginęły 4 lipca 1946 oraz tych, którzy zmarli już poza Kielcami w dniach następnych z powodu odniesionych w antyżydowskich zajściach ran. Obok zamieszczono też krótki opis wydarzeń sprzed 64 lat w 4 językach: jidysz, hebrajskim, angielskim i polskim. Pośrodku grobowca zainstalowano 6-metrowa płytę wykonaną z czarnego, włoskiego granitu. Płyta składa się z kilku elementów, jednym z nich jest bryła Gwiazdy Dawida (z napisem ,, 4 VII 1946") - sprawia to wrażenie pękniętej całości. Osiągniecie tego efektu było celowym zamiarem projektanta - tworząc wizję grobowca dążył do nadania mu głęboko symbolicznej formy - ,,złamana" płyta ma obrazować nagłe przerwanie życia pochowanych pod nią osób. Obok grobowca umieszczony został przywieziony do Kielc z Izraela 450- kilogramowy głaz - dar ziomkostwa kieleckich Żydów. Tak jak pozostałe elementy tego smutnego miejsca jego ustawienie ma symboliczny przekaz - wyraża niespełnione marzenie o wyjeździe do Palestyny zabitych 64 lata temu osób. Warto w tym miejscu podkreślić, że ustawienie płyty było nie lada wyzwaniem dla realizujących projekt kamieniarzy. Każdy element należał bowiem ustawić pod odpowiednim kątem jednoczenie precyzyjnie ze sobą zespalając. Gruntowej zmianie uległo też otoczenie grobowca. Usunięte zostały gęste zarośla, które otaczały grobowiec potęgując wrażenie zaniedbania tego miejsca. Teren otaczający pomnik wyłożony został granitową kostką. Za specjalną zgodą Michaela Schudricha strona frontowa grobu została odwrócona o 180 stopni ze wschodu na zachód, dzięki czemu przód grobowca będzie wyraźnie widoczny z ulicy.

W 2015 r. dzięki Fundacji Nowa Przestrzeń Sztuki na działce sąsiadującej z cmentarzem od strony ul. Dzikiej zrekonstruowano prywatny dom modlitwy Herszla Zagajskiego, przeniesiony z podwórza kamienicy przy ul. Słowackiego 3.

Przez kilka ostatnich lat cmentarz znajdował się pod opieką Stowarzyszenia im. Jana Karskiego w Kielcach. Prace porządkowe wykonywali wolontariusze, m.in. uczniowie VI Liceum Ogólnokształcącego im. J. Słowackiego i Technikum Budowlanego w Kielcach. Obecnie cmentarzem zarządza Gmina Wyznaniowa Żydowska w Katowicach. Chęć wejścia na jego teren należy wcześniej ustalić telefonicznie z osobą posiadającą klucz do bramy: tel. 783 084 183.

Brama cmentarza znajduje się od strony Al. Na Stadion. Wejście do ohelu prowadzi od strony ul. Pakosz, dróżką pomiędzy posesją Pakosz 39 a ogrodzeniem cmentarza.