Ett index på en tabell av den storlek du nämnde bör i allmänhet kunna släppas ganska snabbt (och säkerligen snabbare än 3+ minuter). Det låter för mig som om tabellen/indexet användes och därför inte kunde släppas.
Du kan bekräfta det genom att fråga pg_stat_activity tabell och letar efter aktivitet som involverar tabellen där du skapade indexet.