Prof. Andrzej Trzciński w książce Śladami zabytków kultury żydowskiej na Lubelszczyźnie tak opisał początki historii osadnictwa żydowskiego w Tomaszowie Lubelskim: "Od 1590 roku istniała tu osada Jelitów, założona na terenie wsi Rogoźno. (...) W 1621 roku nastąpiła lokacja miasta Tomaszów, należącego do Jana Zamoyskiego. W tym samym czasie Żydzi otrzymali korzystne przywileje, między innymi na postawienie bóżnicy, założenie cmentarza, budowę domów w centrum miasta. Pierwsza bóżnica istniała tu już w 1594 roku, to znaczy przed lokacją miastai".

Podczas II wojny światowej Niemcy zdewastowali cmentarz. Dziś na powierzchni dwóch hektarów zachowało się około trzydziestu nagrobków. Są to przede wszystkim rekonstrukcje - w betonowe tablice o kształcie macew, wmurowano ocalałe fragmenty oryginalnych płyt nagrobkowych. Ostatni znany pochówek odbył się w 1943 roku.

W ohelu pochowani są miejscowi cadycy: zmarły w 1839 roku Josef Grin z Jarczowa, uczeń słynnego "Widzącego z Lublina"; Jehoszua Fiszerman syn Józefa, zmarły w 1906 roku oraz Josef Arie Lejbusz Fiszerman syn Jehoszuy, zmarły 30 marca 1916 roku.

Poważne prace porządkowe i restauracyjne przeprowadzono w 1993 roku. Wykonano wówczas metalowe ogrodzenie z bramą i uprzątnięto teren. W tym czasie powstał również pomnik poświęcony Żydom Tomaszowa, upamiętniający ostateczną likwidację społeczności żydowskiej. Kolejnym zrekonstruowanym obiektem jest ohel na grobach rabinów Izaaka Szapira oraz Judy ben Nisan Meira.