In de Middeleeuwen stond hier het Gerrit Lams Begijnhof, dat na de Hervorming in handen van de Hervormde gemeente kwam. Die liet hier arme mensen wonen. 

Het woord 'nest' werd vaak gebezigd bij bouwvallige achterbuurten en in een 'mierennest' krioelt het natuurlijk ook nog van het leven. We kunnen hieruit afleiden dat deze huisjes tamelijk overbevolkt waren.

In 1731 werden de huisjes publiek geveild en een van de kerkmeesters kocht ze. Deze Diederik van Leyden bepaalde in zijn testament dat de huisjes tot een hofje omgevormd moesten worden, hetgeen zijn zoon dan ook trouw gedaan heeft.