Vad som förmodligen händer är att den extra tiden första gången frågan körs går åt till att kompilera frågan och utveckla exekveringsplanen. Detta förblir cachelagrat ett tag och sedan händer det igen.
Lösningen är att placera din fråga i en lagrad procedur.