De ingezetenen van de Biest hebben eeuwenlang de vruchten geplukt van de woeste gronden waar schapen geweid konden worden, turf gestoken en heide geplukt voor gebruik in de potstallen, en van de gemeenschappelijke weide met de “schutskooi” voor het rundvee. Tweehonderd jaar lang voer het gehucht redelijk wel en het had in de zestiende eeuw zelfs een Lievevrouwe gilde. Dat veranderde toen in de Tachtigjarige Oorlog de doortrekkende Spaanse troepen roofden en verwoestingen aanrichtten. In 1586 vielen de Staatse troepen de Meierij binnen en werden Hilvarenbeek en de omliggende gehuchten opnieuw leeggeroofd en platgebrand. De inwoners van de Biest die de ramp overleefden verscholen zich opnieuw in hutten in het moeras.
Na de vrede van Munster in 1648 werd Brabant een wingewest van de nieuwe Republiek der Verenigde Nederlanden. Het gehucht verviel in totale armoede. In 1794 schreef de gevluchte Hollandse patriot Gerrit Paape, die met de Franse troepen naar Nederland terugkeerde en enkele dagen in De Biest verbleef:
“En dit Biest is zekerlijk een zeer arm gehucht, maar teffens ook het sentimenteelste en meest romanesque gehucht, dat ik immer gezien heb. Hutten door de eenvoudigheid opgeslagen en bewoond, en menschen wien de onschuld van het gelaat en de gulle oprechtheid uit de oogen spreekt.”
De twee gehuchten Biest en Houtakker hadden toen samen rond 200 inwoners. De Franse bezetting maakte een einde aan de uitbuiting van Brabant door de Nederlanden. De gemeenten werden ingesteld, waarbij De Biest en de Westrik bij de gemeente Hilvarenbeek kwamen. De gemene gronden werden formeel bezit van de gemeente. De boeren die voor het merendeel toch al te weinig opbrengst van de schrale grond hadden om een paar koeien te kunnen houden en voer moesten bijkopen, moesten nu ook aan de gemeente betalen om hout te mogen kappen en om hei af te mogen steken voor de stal.
Toch stak Biest-Houtakker nog gunstig af bij de toestand op de Brabantse hoge zandgronden in het algemeen. Meester Broeders, de schoolmeester van de in 1769 gebouwde dorpsschool van Hilvarenbeek, schrijft in 1838 in zijn boekje “Geschied- en Aardrijkskundige beschrijving der gemeente Hilvarenbeek, voor de jeugd”:
“De bewoners van Biest en Houtakker leggen zich voornamelijk op den landbouw en veeteelt toe, voor welk laatste bedrijf zij hier de geschiktste gelegenheid hebben, dewijl de gronden lager liggen dan in andere gedeelten der gemeente en dus meer geschikt tot weiland zijn. Hiertoe werkt ook niet weinig mede eene zeer uitgestrekte gemeene weide, de Biestsche gemeente namelijk die eene oppervlakte heeft van 47 bunders en 50 vierkante roeden, waarop men niet zelden 30 paarden en 200 runderen ter zelver tijd ziet grazen.”
Volgens meester Broeders telden Biest en Houtakker samen toen 36 woningen. Voor het hele oorspronkelijke gebied van “de Gemeente van De Biest”, van de Hakvoorde tot de Kleine Westrik en van Driehuizen tot de grens met Moergestel waren het er echter 42 volgens het in 1832 ingestelde kadaster van Brabant. De 42 huizen van De Biest, De Houtakker en de Kleine Westrik samen waren eigendom van 31 inwoners en van 3 personen van buiten, waarvan de meest opvallende is burgemeester Huijsmans van Hilvarenbeek. 6 inwoners bezaten 2 huizen en 1 bezat er 3 (!). Er werden dus 10 huizen verhuurd of er zaten pachters in de huizen met omliggende landerijen.
Een opmerkelijke grondbezitter van een akker op de Schijf is “De Tafel van de Heilige Geest”, dat was het armenbestuur van Hilvarenbeek dat de zorg had over de bedeling van de behoeftigen tot aan de instelling van de (derde) Armenwet in 1894, waarin de zorg voor de behoeftigen werd opgedragen aan de gemeenten.