En fråga skannar inte tabellen i någon speciell ordning; det kan göra det om det råkar gå igenom ett visst index i ordning (t.ex. en intervallskanning), vilket KAN bero på att du använde en ORDER BY.
Databaser fungerar helt enkelt inte så. Du kan inte lita på deras beteende på det sättet.
Om du gör en genomsökning av hela tabellen, förvänta dig att det tar ett tag, särskilt om du nyligen har tagit bort många rader. Det kommer dock att ta ännu längre tid om du har många rader.
Se till att frågan använder index istället. Tittar på förklara planen och se till att den använder index.