Zoals de naam al zegt, werd het door Samuel de Zee gesticht. Deze man was geboren onder de naam Samuel le Maire en had uit zijn vier huwelijken uiteindelijk geen nakomelingen overgehouden. Zijn kapitaal zou dus naar neven en nichten gaan, maar zijn relatie met die familie was niet al te hartelijk. Vandaar dan ook het opschrift boven de toegangspoort: 'k kan met myn poort Uw mond niet sluyten. Ook voor aan de straat liet hij dit nog eens ondubbelzinnig blijken: 'voor goede, doch niet rijke, neeven ende nigten'.

Nog tijdens zijn leven kocht Samuel een kaatsbaan met wat huisjes en begon ze te verbouwen. In 1743 werden er nog elf huisjes en een regentenkamer aan toegevoegd, zodat de plattegrond nogal ingewikkeld is geworden.

De ontploffing van het kruitschip aan de nabijgelegen Steenschuur in 1807 vaagde een hele stadswijk weg en kostte 151 doden. Het hofje werd beschadigd, maar al snel ook weer hersteld. In 1981 en navolgende jaren werd een grote restauratie uitgevoerd.