Het Brouchovenhofje is een initiatief van Anna van Brouchoven. Zij vroeg haar broer Jacob om een paar huisjes gratis te laten bewonen door bejaarden. Jacob respecteerde die wens van zijn zus en stichtte het hofje. Op het eind van zijn leven werd begonnen met de bouw. Als architect heeft hij hoogstwaarschijnlijk Arent van 's-Gravensande gevraagd. Deze bouwde veertien huisjes (het gewone aantal van 12 plus twee huisjes die Anna van Brouchoven had nagelaten), die toen nog maar één verdieping hoog waren; pas aan het einde van de 18e eeuw werd een tweede bouwlaag aangebracht. Het poortgebouw laat, naast het bouwjaar 1640, de initialen van Anaa van Brouchoven zien. Toen Jacob in 1642 overleed, gad hij het bestuur in handen van het stadsbestuur van Leiden, waar hij zelf lange tijd zitting in gehad had.