Kom på problemet... Toni hade ett bra förslag (men att avregistrera föraren innebar att drivrutinen inte längre var tillgänglig när appen laddades om!).
I vårt fall inkluderade vi av misstag ojdbc6.jar med vår webbapp OCH i Tomcat/lib-katalogen. Detta fick förmodligen Tomcat att använda vår klassladdare för att skapa objekt. När vår applikation laddades ur hade Tomcats DBCP-pool fortfarande öppna handtag för klasser i vår applikation.
Att ta bort ojdbc6.jar från vår WEB-INF/lib löste problemet.