Prof. Andrzej Trzciński w książce Śladami zabytków kultury żydowskiej na Lubelszczyźnie tak opisał początki historii osadnictwa żydowskiego w Tomaszowie Lubelskim: "Od 1590 roku istniała tu osada Jelitów, założona na terenie wsi Rogoźno. (...) W 1621 roku nastąpiła lokacja miasta Tomaszów, należącego do Jana Zamoyskiego. W tym samym czasie Żydzi otrzymali korzystne przywileje, między innymi na postawienie bóżnicy, założenie cmentarza, budowę domów w centrum miasta. Pierwsza bóżnica istniała tu już w 1594 roku, to znaczy przed lokacją miasta. (...) W 1783 roku Tomaszów scharakteryzowany został jako "gniazdo Żydów otoczonych chłopami".

Podczas II wojny światowej Niemcy zdewastowali cmentarz. Dziś na powierzchni dwóch hektarów zachowało się około trzydziestu nagrobków. Są to przede wszystkim rekonstrukcje - w betonowe tablice o kształcie macew, wmurowano ocalałe fragmenty oryginalnych płyt nagrobkowych. Ostatni znany pochówek odbył się w 1943 roku.

W ohelu pochowani są miejscowi cadycy: zmarły w 1839 roku Josef Grin z Jarczowa, uczeń słynnego "Widzącego z Lublina"; Jehoszua Fiszerman syn Józefa, zmarły w 1906 roku oraz Josef Arie Lejbusz Fiszerman syn Jehoszuy, zmarły 30 marca 1916 roku.

Poważne prace porządkowe i restauracyjne przeprowadzono w 1993 roku. Wykonano wówczas metalowe ogrodzenie z bramą i uprzątnięto teren. W tym czasie powstał również pomnik poświęcony Żydom Tomaszowa, upamiętniający ostateczną likwidację społeczności żydowskiej. Kolejnym zrekonstruowanym obiektem jest ohel na grobach rabinów Izaaka Szapira oraz Judy ben Nisan Meira.