Tvrz vznikla zřejmě před rokem 1362, tedy snad v době, kdy Vlhlavy patřily jednomu z vladyků z Němčic a Vlhlav, Abšíkovi. Druhou možností je vznik tvrze za spravování Jana Hrůzy z Dubice, tedy v 90. letech 14. století. Jan sem totiž přenesl z Dubice své sídlo a před touto dobou údajně není o tvrzi ve známých pramenech zmínka.
Na podzim roku 1420 (za Jana Hrůzy z Vlhlav) byla tvrz kvůli zradě dobyta a vypálena husity. Tvrz však byla jistě brzy obnovena, neboť i nadále plnila rezidenční funkci. Tu ztratila až asi v 70. letech 16. století, kdy patřila Bohuslavu Malovci z Malovic a na Dřítni. Od té doby nezadržitelně chátrala. Během pustnutí stavby tvrze postupem času mizel i vodní příkop. Postupně se zanášel, takže voda zanedlouho zůstala už jen v jeho severozápadním dílu.
Poslední známá zmínka o vlhlavské tvrzi pochází z roku 1628 (viz smlouvu o dědičném prodeji hlubockého panství Baltasarovi de Marradas). Podle některé literatury stávala tvrz až do roku 1677. Poté byla prodána místním usedlíkům a kámen z jejích starobylých zdí byl použit na stavbu hospodářských budov.
Asi v první polovině 18. století byla na hradišti bývalé tvrze povolena stavební místa pro schwarzenberské dělníky. Na mohutných kamenných základech tehdy vznikla dvě obytná stavení, označená číslem popisným 6 v západní části jádra tvrze a číslem 28 v části východní.
Postupně byly zbytky kamenných zdí rozebrány a materiál byl znovu použit. Úpravy vyvrcholily v 60. a 70. letech 20. století. Tehdy byla zasypána i zbývající část někdejšího vodního příkopu, která se nacházela v severozápadní části tvrziště.
Při tvrzi se v době jejího rozkvětu nacházel poplužní dvůr (tj. dvůr se zemědělskou půdou) a také pivovar, zřízený patrně Malovci z Malovic.
Někdejší hospodářský význam Vlhlav (zejména v 16. století) dokládá úryvek z veršované autobiografie proslulého rybníkáře a rožmberského regenta Jakuba Krčína z Jelčan (vztahuje se k roku 1568):
Jak je patrno z tohoto úryvku, vlhlavský poplužní dvůr, pivovar i rybniční hospodářství prosperovaly natolik, že patřily k nejvyhledávanějším zdrojům pro kupce z celého hlubockého panství.
Ještě výmluvnějším dokladem významu Vlhlav v raném novověku je jejich vyobrazení na nejstarší tištěné mapě Čech, tzv. Klaudyánově mapě z roku 1518.
Tvrz se dvorem a pivovarem stávala v jižní části vsi mezi dvěma rybníky, které plnily i obrannou funkci. Oválné jádro tvrze obklopoval ze tří stran vodní příkop, napájený z Vlhlavského rybníka. Nadbytečná voda odtékala do níže položeného rybníka Kuchyňky, jenž se nacházel v bezprostřední blízkosti tvrziště a plnil tak obrannou funkci vodního příkopu ze severní strany. Příkop, široký asi 8 – 12 metrů, byl doplněn vnějším obranným valem.
Jádro tvrziště bylo přibližně 50 metrů dlouhé a 32 metrů široké, celé tvrziště pak mohlo mít rozměry asi 70 x 47 metrů.