Podobno co roku o północy w pierwszym dniu Świąt Wielkanocnych, gdy księżyc oświetla ruiny toszeckiego zamku, z jego podziemi wyłania się duch odzianej na biało pani. Długo snuje się ona po rozległym dziedzińcu, zagląda do okien, pochyla się nad starą studnią i znika za basztą. Jak głosi legenda, wspaniałym zamkiem słynącym z tego, że miał tyle okien, ile dni, tyle komnat, ile nocy i tyle baszt i wieżyczek, ile miesięcy w roku, władał niegdyś okrutny graf. Drżeli przed nim poddani, których nieludzko karał za byle przewinienia. Wymagał też od nich bezwzględnego posłuszeństwa. Opornych wtrącał do lochów, z których nie było ucieczki. Graf miał wiernego sługę, ojca młodej i pięknej córki. Kochał sługa swoje dziecko nad życie. Tego nie mógł znieść okrutny pan. Wymagał od sług miłości i uwielbienia tylko dla siebie. I chociaż zbliżały się Święta Wielkanocne, wyprawił sługę z poselstwem do Gliwic. Sam zaś wtargnął do komnaty jego córki, która właśnie przebierała się w białą koszulę do snu. Chwycił dziewczynę za włosy, owinął jej głowę prześcieradłem i wywlókł na dziedziniec. Tam, poturbowaną udusił i wrzucił do studni. Sługa powróciwszy do zamku, długo szukał swojej córki. Nie znalazł jej, ale od innych sług dowiedział się, co zaszło na dziedzińcu zamkowym. Wtedy oszalały z wielkiego bólu zapadł na ciężką chorobę. Leżąc na łożu śmierci, rzucił straszne przekleństwo na zamek. – Zgiń, przepadnij, zamień się w stertę cegieł i gruzu! Klątwa spełniła się już niebawem. Graf umarł w straszliwych męczarniach, a zamek nawiedził ogromny pożar. Podobno Biała Dama, chodząc po zamku w ciemną wielkanocną noc, szuka ojca. Ukazuje się niektórym ludziom, ale tylko tym, którzy choć troszeczkę w nią wierzą.