Jag antar att du använder ODBC här eftersom du inte har angett exakt och det används normalt...
Nej, du bör använda en ny anslutning varje gång, detta är standardpraxis som Microsoft rekommenderar. Om du använder ODBC etc så hanterar Windows dessa anslutningar, cachelagrar dem för återanvändning och det gör det lättare att hantera sakers livslängd.
Om du använder en statisk anslutning kan du kassera den för tidigt eller ha stängt den utan att veta. I allmänhet är det bara lite mer besvärligt och en för tidig optimering.
Se OdbcConnection för mer information.