W latach siedemdziesiątych XX wieku członkowie i sympatycy Przysuskiego Towarzystwa Kulturalnego rozpoczęli gromadzenie materiałów dotyczących Oskara Kolberga, a także eksponatów etnograficznych i historycznych z okolic Przysuchy. W ciągu czterech lat zbiory prezentowane były na wystawach w bibliotece i w zabytkowym lamusie dworskim. W 1979 roku kolekcję przeniesiono do Szydłowca – do Muzeum Ludowych Instrumentów Muzycznych, w Przysusze natomiast powstał oddział muzealny.