Pieter Gerritsz. Speck of Van der Speck was een rijke timmerman. Hij werkte onder andere mee aan de bouw van de toren van de St. Stevenskerk in Nijmegen. In Leiden bezat hij tal van huizen. Hij moet als huisjesmelker zeer scherp gezien hebben hoe slecht de woonomstandigheden voor arme bejaarden vaak waren. Nog tijdens zijn leven bouwde hij zelf zijn hofje. In zijn testament van 1645 regelde hij verder de stichting. Door de beperkte omvang van het terrein bij zijn woonhuis is het hofje tamelijk klein uitgevallen: slechts acht huisjes.