Żydzi w Rajgrodzie pojawili się stosunkowo wcześnie, pierwsze wzmianki o ich obecności w mieście pochodzą bowiem z 1587 roku. Wiadomo, że w pierwszej połowie XVIII wieku rajgrodzcy wyznawcy judaizmu posiadali synagogę oraz cmentarz. Lata prosperity miejscowej społeczności żydowskiej datuje się na XIX wiek. W 1857 roku w miasteczku żyło 1.659 Żydów, co stanowiło aż 86 procent wszystkich mieszkańców. Nic więc dziwnego, że w "Słowniku geograficznym Królestwa Polskiego i innych krajów słowiańskich" w części poświęconej Rajgrodowi zanotowano: "Ludność przeważnie żydowska trudni się dobrym handlem, którego główny artykuł stanowią ryby wędzone (sielawy i węgorze)". Trudne warunki gospodarcze na przełomieXIX i XX wieku, pierwsza wojna światowa i późniejszy kryzys spowodowały jednak spadek liczby Żydów w Rajgrodzie. Podczas I wojny światowej zniszczeniu uległy archiwalne księgi miejscowego kahału. U zarania II Rzeczypospolitej w mieście mieszkało 745 osób pochodzenia żydowskiego.
Po wybuchu II wojny światowej na mocy traktatu Ribbentrop-Mołotow Rajgród znalazł się w strefie radzieckiej. W 1941 roku, po ataku Hitlera na ZSRR, miasto zostało zajęte przez wojska niemieckie. Kilka dni później doszło do zbiorowej egzekucji około stu miejscowych Żydów. W dziele zagłady najeźdźcom pomagali też niektórzy Polacy, dopisując tym samym Rajgród do niechlubnej listy miast - takich jak Jedwabne, Wąsosz, Kolno - w których w lipcu 1941 roku doszło do pogromów. Dr Andrzej Żbikowski z Żydowskiego Instytutu Historycznego w rozmowie opublikowanej na łamach dziennika "Rzeczypospolita" ("Z jednej okupacji pod drugą", numer 145 z dn. 23.06.2001) tak mówi o tych zajściach: "W Rajgrodzie pojawiła się plotka, że wśród spędzonych na rynek Żydów znajdują się ludzie, którzy pracowali w więzieniu w Łomży i maltretowali tam pewnego Polaka. I to w relacjach świadków stało się przyczyną pogromu. (......) W Rajgrodzie Polacy za zgodą czy też na polecenie Niemców - nie do końca jest to jasne - zamordowali 30 Żydów". Pozostałych Żydów zgromadzono w getcie, skąd jesienią 1942 roku zostali deportowani do obozów śmierci.
Cmentarz żydowski w Rajgrodzie założono w stosunkowo dużym oddaleniu od miejscowości, w pobliżu wioski Opartowo, przy drodze do Okoniówka. Jego lokalizację zaznaczono na przedwojennej wojskowej mapie okolic Rajgrodu. Wiemy, że nekropolia istniała na pewno już w 1719 roku, z tego czasu zachowały się bowiem archiwalne dokumenty, dotyczące sporu Żydów rajgrodzkich z nadrzędnym wobec nich bractwem Chewra Kadisza z Tykocina. Anatol Leszczyński w swoim opracowaniu zatytułowanym "Terytorialna organizacja kahalna Żydów Korony 1623-1764" ("Studia z dziejów Żydów w Polsce", tom I) podaje, że "w 1719 roku przedstawiciel Rajgrodu przysiągł władzom tykocińskiego bractwa pogrzebowego, że w gminie rajgrodzkiej będzie się grzebać tylko miejscowych Żydów, w żadnym zaś razie Żydów z okręgu tykocińskiego czy Prus Książęcych". Bractwo pogrzebowe Chewra Kadisza powstało w Rajgrodzie dopiero w 1747 roku. Autorzy wydanego w 1939 roku "Almanachu gmin żydowskich" opisując dzieje Żydów rajgrodzkich, wzmiankowali także miejsce ich pochówku, pisząc: "Na cmentarzu żydowskim znajdują się nagrobki stare, pokryte mchem".