Jag hatar att låta som en grinig, gammal akademiker, men teorin är verkligen vad du behöver studera, om du är fast besluten att bygga din egen RDBMS. Implementeringsdetaljerna är egentligen bara, eh, implementeringsdetaljer. Förutom läroböcker, kanske du också vill studera forskningsartiklar, som tenderar att täcka ämnet mer detaljerat.
När du börjar implementera din databasmotor kan du titta på befintliga implementeringar med öppen källkod, men förvänta dig att inlärningskurvan är brant. Som du redan har upptäckt tenderar dessa projekt att vara ganska komplexa. När du har konkreta frågor till dessa projekt, försök att lägga upp dem på relevanta e-postlistor. När du har konkreta frågor om din egen implementering, lägg upp dem här :)