Redis kommer definitivt inte att vara snabbare än inbyggt Java på en enda maskin. Det skulle tillåta dig att distribuera bearbetning, men om databitarna verkligen är stora, kommer de troligen inte att passa in i minnet ändå. Utan att veta mer om vad du gör skulle jag föreslå att du lagrar data på disk. När du får flera maskiner kan du nätverksmontera partitionen och dela data på det sättet. Alternativt låter Hadoop med MapReduce som rätt sort för det du gör.