Termen du letar efter är "paginering". Tyvärr görs detta på olika sätt beroende på SQL-motorn.
För MS SQL Server, se denna Stack Overflow-fråga .
Eftersom du nämnde MySQL är det faktiskt ganska enkelt:
SELECT [columns] FROM [a table] LIMIT 10000
SELECT [columns] FROM [a table] LIMIT 10000 OFFSET 10000
Den första satsen hämtar resultaten 1-10 000 och den andra satsen hämtar resultaten 10 001-20 000.