Hned na počátku roku 1456 přijíždí Jan Koňata do Vlhlav, aby mu úředníci desk dvorských odhadli hodnotu nově nabytého majetku. Zjistí však, že vlhlavské zboží má cenu pouhých 1 000 kop grošů…
Jan Koňata z Olešnice však neměl potomky (byl i posledním mužem ze svého rodu), a tak odkázal Vlhlavy synům své sestry, Přibíkovi staršímu a Beneši z Chlumu (zatímco Olešnici prodal Zikmundu Kebarovi z Mirošovic).
Nepřátelé Jiřího z Poděbrad včetně Rožmberků se však v té době stále nemohli smířit s Jiříkovým zvolením českým králem, a tak se jejich plány dotkly i vlhlavské tvrze. Rožmberkové roku 1468 usilovali o to, aby byla tvrz obsazena jejich vojáky, konkrétně jezdci. Dědické právo sice vladykům z Chlumu zůstalo, avšak tvrz byla brzy osazena vojáky a hlava tzv. Zelenohorské jednoty, Zdeněk ze Šternberka, na ni v roce 1470 prosadil svého hejtmana Hertvíka z Ostrožna.
Beneš z Chlumu po sobě zanechal dva syny, Přibíka staršího a Přibíka mladšího. Ti po otcově smrti smlouvou ze dne 24. června 1482 prodali dva díly tvrze se dvorem poplužním a dvory kmecími1 ve Vlhlavech, Němčice s podacím kostelním, Chrášťany, Tupesy, Domanice a Rovný za 1 200 kop grošů Petru Kořenskému z Terešova. Přibík starší pak do své smrti r. 1495 žil s manželkou Kateřinou a syny Janem a Jindřichem na statku v Dubném.