Na wzgórzu Grojec, w dzisiejszej dzielnicy Żywca – Sporyszu, istniała niegdyś osada kultury łużyckiej. W okresie wczesnego średniowiecza powstała tam warownia, a w XV wieku zamek, należący do Bożywoja i Włodka Skrzyńskich herbu Łabędź. Znani jako rycerze-rozbójnicy, prowadzili oni zbrojne wypady na okoliczne ziemie. Zamek został zniszczony w 1477 roku przez wojska Kazimierza Jagiellończyka. W rękach Komorowskich herbu Korczak warownia przeszła pod wpływy Królestwa Węgier, sympatyzującego z zakonem krzyżackim.
Pierwsza wzmianka o Sporyszu jako miejscowości pochodzi również z 1477 roku. W XVI wieku Komorowscy intensywnie zagospodarowywali okoliczne tereny – kasztelan Krzysztof Komorowski przekazał Żywcowi wzgórze Łyska oraz pozwolił mieszkańcom miasta na połów ryb w Koszarawie. W 1567 założono folwark „Obszar”, który w późniejszych latach rozrósł się, częściowo kosztem sporyskich chłopów, których wywłaszczono.
W XVII wieku Sporysz wraz z innymi