Wkrótce doszłyśmy pod zamek zbudowany na szczycie skały. Nazwa zamku wywodzi się z niemieckiego „Rabenstein” i oznacza „Kruczą Skałę”.

Nie wiadomo, kto zbudował najstarszą część zamku. Legendy przypisują to rycerskiemu rodowi Toporczyków z Morawicy, którzy prawdopodobnie na przełomie XII i XIII wieku wznieśli drewnianą warownię. Murowany zamek górny powstał w drugiej połowie XIII wieku, a w drugiej połowie XIV wieku (za czasów Kazimierza Wielkiego) wybudowano kamienną wieżę obronną, która na początku XV wieku zyskała ceglaną nadbudowę. Ponieważ zamek górny na szczycie skały był niewielki, już w XIV wieku powstał zamek średni z budynkami mieszkalnymi, dziedzińcem i bramą w murze od strony wschodniej. W pd.zach. narożniku zamku średniego znajdowała się wieża obronna. W 1412 roku wykuto w skale studnię. Na przełomie XIV i XV wieku powstał zamek dolny, wybudowany na wschodniej i północnej stronie wzgórza. Od północy bronił zamku dostawiony do skały mur kurtynowy, w którym znajdowała się brama wjazdowa i dobudowane później pomieszczenie straży. Wtedy też na pn.wsch. stoku wzgórza wykopano suchą fosę Pierwsze wzmianki o zamku Rabsztyn pojawiają się jednak dopiero na przełomie XIV i XV wieku, gdy w jego władanie weszli (za długi królów) Melsztyńscy herbu Leliwa.

(fotka z netu:
https://www.polskieszlaki.pl/zamek-rabsztyn.htm )
W 1439 w czasie obrad rady królewskiej w Nowym Korczynie, Spytek Melsztyński (przywódca polskich husytów) napadł na obradującą w Nowym Korczynie (zaglądnęłyśmy do miasteczka podczas BBW 2023) radę królewską. Wkrótce pod pobliskimi Grotnikami został rozgromiony, poległ wówczas w bitwie. Majątek Spytka skonfiskowano na rzecz korony, a zamek w Rabsztynie stał się siedzibą starostwa. Król Władysław Warneńczyk złagodził jednak wyrok i oddał zamek (ale już jako starostwo) wdowie po Spytku, a rodzinie przywrócił szlachectwo. W wyniku ugody sądowej z 1441 roku zamek przeszedł w ręce i Jadwigi (córki Jana Melsztyńskiego), która w 1441 roku poślubiła Andrzeja Tęczyńskiego herbu Topór, w ten sposób starostą rabsztyńskim został Tęczyński. W 1443 roku Andrzej Tęczyński na rozkaz króla rozbudował i wzmocnił zamek. Po śnieci Andrzeja, jego syn Jan przyjął nazwisko Rabsztyński. Linia ta wymarła na pocz. XVI wieku. W 1511 roku starostą rabsztyńskim został Andrzej z Kościelca, po nim od 1515 roku Rabsztynem władały trzy pokolenia Bonerów. Bonerowie przebudowali zamek na rezydencję mieszkalno-obronną. W 1573 roku na zamku gościł król Henryk Walezy.
12 VI 1583 r. na zamku Rabsztyn odbyło się huczne wesele hetmana Jana Zamoyskiego z księżniczką siedmiogrodzką Gryzeldą, bratanicą króla Stefana Batorego.
W 1587 roku dowódcą załogi wojskowej w zamku był kozak, płk. Hawryło Hołubek, który zasłynął podczas walk przeciw pretendentowi do tronu polskiego po śmierci Stefana Batorego, oblegającemu Kraków arcyksięciu austriackiemu Maksymilianowi III Habsburgowi. Hołubek z pomocą olkuskich górników wciągnął w zasadzkę oddziały zmierzające na pomoc Maksymilianowi.
W 1592 roku, po bezpotomnej śmierci Seweryna Bonera młodszego, zamek stał się własnością Firlejów i ich spadkobierców. Dużą inwestycję budowlaną rozpoczął po 1599 roku marszałek wielki koronny i starosta rabsztyński Mikołaj Wolski, a zakończył Zygmunt Myszkowski. Rozbudowany zamek stał się rezydencją magnacką. Wyburzono część murów obronnych i ścian zamku dolnego, na ich miejscu wzniesiono trójskrzydłowy renesansowy pałac o dwóch kondygnacjach, w którym było 40 komnat.
W czasie potopu szwedzkiego w 1657 roku wycofujące się wojska szwedzkie zrujnowały i spaliły zabudowania zamkowe. Od tej pory Rabsztyn był tylko w części zamieszkany, nie starano się o jego odbudowę. Następni starostowie zbudowali u podnóży zamku dwór starościński i folwark. Zamek niszczał, w XVIII w. stała tylko połowa murów zamkowych. Zamek górny był całkowicie zrujnowany i opuszczony. W początkach XIX wiek już cały zamek został opuszczony. Podczas powstania listopadowego w Rabsztynie czynna była fabryczka prochu strzelniczego. Około 1900 roku runęła baszta starego zamku, najprawdopodobniej wysadzona w powietrze przez poszukiwaczy skarbów (jak było naprawdę, nie jest do końca wiadome).
Zamek Rabsztyn od 1990 roku jest własnością Gminy Olkusz, dzięki której przeprowadzone zostały prace konserwatorskie oraz częściowa rekonstrukcja.
Odbudowano bramę wjazdową, a odkryte mury i piwnice zamku średniego zostały zabezpieczone przeszklonym pawilonem. W latach 2012–2014 zrekonstruowano część murów zamku górnego i wieży, gdzie powstał taras widokowy. W części odgruzowanych piwnic pałacu powstał podziemny pawilon z niewielką kawiarenką, otwarty w 2021 roku dla obsługi ruchu turystycznego. Na zamkowym dziedzińcu powstała strefa rekreacyjna ze sceną i trawiastymi tarasami.
Do zamku nie wchodzi się obecnie przez bramę wjazdową, lecz przez kasę biletową i kawiarnię (znajduje się w strefie bez opłat za wejście na zamek) umiejscowione w odgruzowanych piwnicach pałacu z XVII wieku