Pierwszy cmentarz żydowski w Mielcu powstał przy obecnej ul. Jadernych. W materiałach źródłowych podawane są różne daty jego założenia: XVI lub XVII wiek. Dokonano na nim nie mniej niż kilku tysięcy pochówków. Na cmentarzu znajdował się ohel cadyka Jakowa Horowica syn Naftalego Horowica z Ropczyc, założyciela dynastii chasydzkiej w Mielcu, zm. 26 grudnia 1839 r. (19 tewet 5600 r.). Prawdopodobnie obok spoczęli także jego potomkowie: Jehuda syn Jakowa Horowica, zm. w 1879 r. oraz Naftali syn Jehudy, zm. 15 października 1916 r. (18 tiszri 5677 r.).

W czasie pierwszej wojny światowej w północno-wschodnim narożniku urządzono cmentarz wojenny nr 493. Pochowano na nim czterech żydowskich żołnierzy armii Austro-Węgier (Ignatza Goldsteina, pochodzącego prawdopodobnie z Nyíradony i trzech niezidentyfikowanych) oraz trzech żołnierzy rosyjskich o nieustalonych nazwiskach (jednym z nich był 19-letni syn przemysłowca z Warszawy, ekshumowany z grobu przy szkole w Rzochowie).

Podczas drugiej wojny światowej na rozkaz Niemców wiele nagrobków zostało wyrwanych i wykorzystanych do prac budowlanych oraz brukowania dróg i placów, między innymi do spiętrzania rzeki Wisłoki, utwardzania placu przed budynkiem Gestapo przy obecnej ul. Narutowicza czy budowy szpitala przy ul. Biernackiego. Niemcy zburzyli mur, a na cmentarzu urządzili kopalnię piasku i gliny. Od strony linii kolejowej został wzniesiony drewniany barak o wymiarach 30 x 100 m.

Po zakończeniu działań wojennych z inicjatywy Lejba Sussela Feuera - przewodniczącego Żydowskiej Kongregacji Wyznaniowej w Mielcu - przystąpiono do grodzenia cmentarza. W 1947 r. Prezydium Powiatowej Rady Narodowej zażądało "regulacji ogrodzenia b. cmentarza żydowskiego" w taki sposób, by nie obejmowało ono baraku zbudowanego przez Niemców, a zajętego po wojnie przez Powiatową Spółdzielnię Rolniczo-Handlową w Mielcu. Odwołanie ŻKW zostało odrzucone przez Departament Wyznaniowy Ministerstwa Administracji Publicznej, które potrzebę utrzymania magazynu na cmentarzu tłumaczyło m.in. korzystną lokalizacją przy torze kolejowym.

Na początku lat sześćdziesiątych na cmentarzu rozpoczęto budowę urzędu pocztowego. W 1962 r. Maciej Jakubowicz z Kongregacji Wyznania Mojżeszowego w Krakowie w liście do Związku Religijnego Wyznania Mojżeszowego informował: "W czasie kopania fundamentów naruszono dziesiątki grobów, a kości zebrano początkowo do 4 trumien (..). Wcześniej przekopano cmentarz spychaczem". Trzy lata później M. Jakubowicz po rozmowie ze świadkiem, grabarzem Antonim Skibą w swojej notatce służbowej napisał: "Wywrotki samochodowe, względnie konne, wywoziły ziemię z wykopów na tak zwane wysypisko i tak kości ludzkie wybierano i umieszczono w jednej skrzyni. Natomiast drugą skrzynię napełniono kośćmi ludzkimi już na terenie budowy. Następnie skrzynie te przewieziono na cmentarz katolicki celem pochowania. Skrzynie te ważyły według oceny grabarza około 200 kg każda". Kości pochowane na cmentarzu katolickim w Mielcu zostały później przeniesione na cmentarz żydowski w Nowym Sączu.

W 1993 r., dzięki staraniom Józefa Witka z Urzędu Miasta oraz pracowników muzeum w Mielcu odzyskano część macew, wykorzystanych do utwardzenia brzegów Wisłoki.

W latach 1993-1994 z inicjatywy Racheli Sussman - mieszkanki Mielca, która w 1934 r. wyemigrowała z Polski do Stanów Zjednoczonych - fragment niezabudowanej działki cmentarnej o powierzchni 5804 m kw. ogrodzono stalowym płotem i uporządkowano. Z odnalezionych kilkudziesięciu fragmentów nagrobków utworzone zostało lapidarium. Rachela Sussman ufundowała także pomnik z napisem: "Pamięci pomordowanych przez hitlerowców w czasie II wojny światowej obywateli polskich narodowości żydowskiej, mieszkańców Mielca i okolic. Fundator Rachela Sussman 1993 ". W 2008 i 2010 r. na cmentarz przewiezione zostały kolejne macewy, odnalezione w różnych punktach miasta.

W 2012 r. Duvid Singer, członek bobowskiej wspólnoty chasydzkiej z Brooklynu, rozpoczął poszukiwania grobu cadyka Jakowa Horowica. Przy wsparciu Komisji Rabinicznej ds. Cmentarzy, dzięki badaniom georadarem oraz analizie map i zdjęć lotniczych, w kolejnych latach udało się ustalić miejsce pochówku. Obecnie trwają przygotowania do odbudowy ohelu.

W 2019 r. studenci Instytutu Judaistyki Uniwersytetu Jagiellońskiego pod kierunkiem dr. hab. Leszka Hońdo wykonali inwentaryzację nagrobków zgromadzonych na cmentarzu przy ul. Jadernych.

W 1873 r. gmina żydowska w Mielcu utworzyła cmentarz epidemiczny, położony poza terenem zabudowanym, na południowy wschód od miasta, w rejonie obecnej ul. Żeromskiego. Między styczniem a wrześniem 1873 r. pochowano na nim ponad 200 osób zmarłych wskutek cholery. Około 1930 r., ze względu na stopniowe zapełnienie cmentarza przy ul. Jadernych, mieleccy Żydzi zaczęli chować zmarłych na cmentarzu cholerycznym. W tym czasie jego powierzchnia wynosiła około 1 ha, teren otaczało ogrodzenie z desek i cegieł, przy wejściu stał murowany dom przedpogrzebowy.

W 1938 r. Dowództwo Okręgu Korpusu nr V w Krakowie wystąpiło do starosty w Mielcu o przeznaczenie gruntów o powierzchni 35 ha, obejmujących także nowy cmentarz żydowski, do rozbudowy zakładów lotniczych. Powołano się przy tym na Ustawę z 17 marca 1932 r. o chowaniu zmarłych i stwierdzaniu przyczyny zgonu, która umożliwiła likwidowanie cmentarzy w przypadkach wyjątkowej potrzeby ze względów użyteczności publicznej. Wniosek wywołał spór z Gminą Wyznaniową Żydowską w Mielcu, który trwał co najmniej do wiosny 1939 r. Dokumentacja zgromadzona w Archiwum Akt Nowych nie pozwala stwierdzić czy ostatecznie doszło do wywłaszczenia cmentarza. Na zdjęciu lotniczym z 1942 r. widać, że w tym czasie cmentarz był nadal ogrodzony, przy wejściu nadal znajdował się dom przedpogrzebowy.