Hur behöver jag ändra min sql för att få det jag vill ha i det här fallet?

Du kan använda row_number för att välja raderna med det största datumet per värde

select * from (
    select t2.id2, t1.date, t2.data, 
        row_number() over (partition by t2.data order by t1.date desc) rn
    from table1 t1
    join table2 t2 on t1.id = t2.id2
) t where rn = 1