W latach II wojny światowej na cmentarzu rozstrzeliwano i grzebano ofiary niemieckich zbrodni, m.in.7 listopada 1942 r. pochowano 68 Żydów zamordowanych w szpitalu przy ul. Zagumiennej, a 17 grudnia 1942 r. – czterech żołnierzy Armii Krajowej, powieszonych na Zamku w Ciechanowie.
W czasie wojny rozpoczął się proces dewastacji cmentarza, kontynuowany w kolejnych dekadach. Po 1945 r. cmentarzem opiekowali się działacze Komitetu Żydowskiego i Żydowskiego Zrzeszenia Religijnego w Ciechanowie. Odzyskali część nagrobków wykorzystanych przez Niemców do utwardzania ulic, ustawili pomniki, na cmentarz przenosili ciała ofiar Zagłady, które ekshumowali z grobów na terenie miasta i w okolicy. Z czasem Żyd