Pierwszy cmentarz żydowski w Rzeszowie powstał w pobliżu starej synagogi. Nie znamy daty jego założenia, jednak znajdujący się tu przed drugą wojną światową nagrobek z 1553 r. wskazuje, że pochówków dokonywano w tym miejscu przynajmniej od połowy XVI w. Po najeździe Tatarów w 1624 r., przez teren nekropolii przeprowadzono wał obronny, którego zbocza z czasem wykorzystano do celów grzebalnych. Od połowy XVIII w. w miejscu najstarszego cmentarza chowano już tylko rabinów i osoby zasłużone dla miejscowej społeczności.

W XVII wieku napływ ludności żydowskiej do Rzeszowa zmusił miejscowy kahał do organizacji nowego miejsca pochówku, położonego w pobliżu starego cmentarza. W 1658 roku Efraim Zelman w imieniu gminy żydowskiej za kwotę 170 florenów zakupił część pobliskiego ogrodu. Kolejne zakupy gruntu miały miejsce między innymi w 1689 r., 1691 r., 1700 r. oraz 1705 r., a cmentarz ostatecznie zajmował powierzchnię około 2 hektarów. Prawdopodobnie w 1849 r. na polecenie władz przez cmentarz przeprowadzono drogę. Przypuszcza się, że decyzja ta - oprotestowana przez stronę żydowską - była spowodowana względami militarnymi. Dziś w tym miejscu przebiega ul. Sobieskiego. Nekropolia funkcjonowała do początków XX wieku. Jeszcze w okresie pierwszej wojny światowej na jej terenie odbyło się kilka pogrzebów.

Nekropolia została zdewastowana podczas drugiej wojny światowej. Na polecenie władz okupacyjnych najpierw zniszczono otaczający ją mur, następnie wycięto drzewa, potem przystąpiono do usuwania tysięcy zabytkowych macew. Pozyskany w ten sposób surowiec wykorzystano między innymi do utwardzania dróg, między innymi ul. Chopina i ul. Asnyka. W 1942 r. ogołocony z nagrobków plac cmentarny służył jako miejsce zbiórki mieszkańców rzeszowskiego getta przed wywózką do obozu zagłady w Bełżcu oraz lasów głogowskich.

Po 1945 r. na cmentarzu wzniesiono Pomnik Wdzięczności Armii Czerwonej. Jeszcze przez wiele lat na jego terenie podczas prac remontowych odkrywano kości i fragmenty nagrobków. W 1990 r. przez cmentarz przeprowadzono magistralę ciepłowniczą. Dokonano wtedy głębokiego wykopu, dewastując liczne groby i odsłaniając kości. Krzysztof Panek w artykule Nie odpoczywają w pokoju ("Małopolska", numer 28 z dnia 15 lipca 1990 r.) tak pisał o tych wydarzeniach: "Groby zostały pocięte. (....) Kość udowa, przecięta wzdłuż czaszka. Takich miejsc można w głębi wykopu naliczyć kilkadziesiąt. (.....) Kilkunastoletnie dzieci mają nie lada gratkę. Na budowie można pobawić się w chowanego, w ściganego, ale najlepszą zabawą jest "szukanie Żyda". Scyzorykiem, widelcem i dziecinną łopatką można przy odrobinie szczęścia zostać właścicielem trupiej czaszki, palca Żyda. Znacznie niżej cenione są przerdzewiałe kłódki i szklane buteleczki".

Dopiero w 2005 r. cmentarz doczekał się upamiętnienia. Na jego terenie odsłonięto pomnik z napisem w języku polskim i hebrajskim o treści: "W tym miejscu znajduje się XVII-wieczny cmentarz żydowski zniszczony w czasie drugiej wojny światowej przez hitlerowskiego okupanta. W lecie 1942 roku gromadzono tutaj Żydów przed wywiezieniem do obozów zagłady".