Udokumentowane początki osadnictwa żydowskiego w Ostrowi Mazowieckiej przypadają na wiek osiemnasty. W 1765 roku w mieście żyło dwadzieścia żydowskich rodzin, które posiadały piętnaście domów, a w sześciu pobliskich wsiach odnotowano obecność czterdziestu pięciu Żydów. W 1790 r. w Ostrowi Maz. mieszkało 75 wyznawców judaizmu. Wiadomo, że już w 1795 r. ostrowscy Żydzi posiadali własną gminę wyznaniową, z języka hebrajskiego zwaną kahałem, której początkowo podlegali wierni między innymi z Broku i Wyszkowa. Pomimo wydanych w 1789 roku prawnych ograniczeń dalszego rozwoju osadnictwa żydowskiego w mieście, liczba Żydów w Ostrowi Maz. stopniowo wzrastała. W znacznej mierze przyczyniła się do tego przeprowadzana przez władze Królestwa Kongresowego akcja rugowania Żydów ze wsi. W 1808 roku w Ostrowi Maz. żyło 809 osób pochodzenia żydowskiego, a do 1857 roku liczba ta zwiększyła się aż do 2.412 osób, co stanowiło 60,7% całej populacji. Większość napływających do miasta Żydów pochodziła z Litwy oraz terenów centralnej Polski. Zetknięcie się tych dwóch grup zaowocowało wytworzeniem się lokalnego dialektu języka jidysz.
Podstawę utrzymania ludności żydowskiej stanowiły najczęściej drobny handel i rzemiosło. Niektórzy zajmowali się operacjami finansowymi - w tym niechlubną "lichwą" - oraz handlem zbożem i drewnem, istniały również żydowskie młyny. Cześć wzbogaciła się dzięki dostawom dla znajdującego się w mieście garnizonu rosyjskiego. Pamiętać jednak należy, że wielu Żydów żyło w nędzy. To z myślą o nich w 1887 roku powstały w Ostrowi Mazowieckiej stowarzyszenia dobroczynne Hachnasat Orchim i Bikur Cholim.
Warty podkreślenia jest zaangażowanie części ostrowskich Żydów podczas powstania styczniowego. Niektórzy z nich - między innymi Herszko Frajda, Berko Muzykant - udział w walkach oraz materialną pomoc dla powstańców przypłacili życiem.
Wśród miejscowej ludności żydowskiej dużą popularność zyskały idee chasydyzmu. Większość tutejszych chasydów pozostawała pod wpływem cadyków z dynastii z Góry Kalwarii (Ger) oraz Warki. Chasydzi z Ostrowi Maz. stali się w sposób niezamierzony "bohaterami" głośnego skandalu, do jakiego doszło pod koniec XIX wieku, kiedy to znany austriacki antysemita Józef Deckert oskarżył ich o rzekomy mord rytualny, dokonany na chrześcijańskim dziecku. Po stronie chasydów występowali między innymi Nachum Sokołow, Józef S. Bloch czy Chaim Zelig Słonimski. Rozpoczęty w 1893 roku proces sądowy pozwolił oczyścić ludność żydowską ze stawianych zarzutów.
Pierwsza wojna światowa oraz późniejszy kryzys gospodarczy sprawiły, że życie ostrowskich Żydów w pierwszych dekadach XX wieku z pewnością nie było łatwe. Trudne warunki ekonomiczne w połączeniu z ostrą walką na scenie politycznej II RP zaowocowały wzrostem nastrojów antysemickich, których eskalacja nastąpiła po śmierci J. Piłsudskiego. W tym czasie wielu polskich Żydów w poszukiwaniu lepszych perspektyw wyjechało do Ameryki czy Palestyny. W wyniku emigracji zarobkowej liczebność populacji wielu miast drastycznie spadła. Warto zauważyć, że na tym tle Ostrów Maz. była wyjątkiem - o ile w 1893 roku w mieście żyło 4.928 Żydów, to w 1921 roku podczas spisu powszechnego żydowskie pochodzenie zadeklarowało aż 6.812 ostrowian.
Wojska niemieckie zajęły Ostrów Mazowiecką w pierwszych dniach września 1939 r., natychmiast przystępując do prześladowania miejscowych Żydów. Rozpoczęły się egzekucje i aresztowania, rabowano domy i sklepy należące do Żydów. Na ludność żydowską nałożono kontrybucję. Przytoczmy tu fragment przechowywanych w Archiwum Żydowskiego Instytutu Historycznego zeznań Heleny Najmark, która wspomina, iż Niemcy "wtargnęli do bóżnicy, zniszczyli wszystko, co w niej znaleźli, rabinowi obcięli brodę i kazali mu Niemcom myć nogi. Tałesami kazali Żydom czyścić ustępy, w nocy rozbierali kobiety do naga i robili z nimi gimnastykę". Jak wynika z relacji innego ostrowianina, Mojsze Surawicza, korzystając z bliskości granicy "prawie cała ludność żydowska przeszła na stronę sowiecką. (....) Przechodzili oni stopniowo. Niektórzy przebierali się za chłopów polskich i w ten sposób przechodzili", a uprzednio cytowana Helena Najmark zapamiętała, że "obraz to był okropny: szli starcy, ciągnąc swoje tobołki; niektórzy ciągnęli fury, gdyż konie im po drodze odbierali. Niektórych dobytek stanowił jedynie bochenek chleba. Nienasycony wróg, pragnący ofiar, i tu miał jeszcze coś do powiedzenia. Rozbierał kobiety i mężczyzn do naga, szukając złota. Przy tym zabierali co mogli". Większość zbiegów trafiła do Białegostoku, skąd część z nich - jako element niepewny i kontrrewolucyjny - Rosjanie deportowali w głąb ZSRR w celu "socjalistycznej resocjalizacji". Reszta uciekinierów po napaści Hitlera na Związek Radziecki, podzieliła tragiczny los Żydów białostockich.
Pozostałą w Ostrowi Mazowieckiej grupę Żydów - w większości starców i kobiety z dziećmi - w dniu 11 listopada 1939 roku naziści zgładzili w masowej egzekucji w pobliskim lesie. Według różnych szacunków zginęło wtedy od 560 do 800 osób. Jak twierdzą niektórzy mieszkańcy, w 1943 roku ciała ofiar ekshumowano i wywieziono.
Na przestrzeni dziejów gmina żydowska w Ostrowi Mazowieckiej posiadała dwie nekropolie. Pierwszy cmentarz powstał na gruncie pomiędzy dzisiejszymi ulicami Broniewskiego i Targową. Nie znamy daty jego założenia. Fundacja Ochrony Dziedzictwa Żydowskiego na swojej stronie internetowej fakt ten datuje na koniec XVII wieku, choć bardziej prawdopodobne jest, iż cmentarz powstał w końcu kolejnego stulecia, razem z miejscową gminą wyznaniową. W wyniku zniszczeń z okresu drugiej światowej oraz dewastacji w okresie PRL, do dziś na cmentarzu nie zachowały się żadne nagrobki, a jego teren przeznaczono na plac targowy.