För snabbhet och optimerad minnesanvändning, skulle jag säga gå med en databas helt enkelt. Att enbart sätta ett index på namnkolumnen kommer förmodligen att öka prestandan på ett sätt som aldrig kan uppnås med en textfil.
En databas har också andra fördelar som vissa sanitära förhållanden (ingen brytning av avgränsare, nya rader etc.) och mindre risk för åtkomstkonflikter när flera instanser försöker läsa från tabellen - och till skillnad från ett filbaserat tillvägagångssätt är skrivkonflikter begränsade till endast aktuell post.