Ja, din anslutningssträng bör definieras i <connectionStrings> avsnittet i web.config av just detta skäl - så att du enkelt kan ändra inställningen så att den pekar mot en annan databasmiljö när du distribuerar din applikation till en annan miljö, utan att behöva kompilera om din kod.
