Se presentationen av SQL Server Express Local DB Runtime - ger en fantastisk översikt.
Den stora fördelen med LocalDB är att det är riktig SQL Server - det är en speciell version av SQL Server Express, men den stöder i princip allt som "riktiga" SQL Server har - rumsliga datatyper, lagrade procedurer - you name it.
SQL Server Compact Edition å andra sidan är en väldigt nedskalad version - många funktioner och datatyper stöds inte. Den är mindre och mer "rörlig" - men den saknar mycket kraft.
Jag skulle personligen välja SQL Server Express med LocalDB runtime framför SQL Server CE 4 - om du inte specifikt behöver den lilla storleken på SQL Server CE (t.ex. på en mobil enhet).
Se även en jämförelse mellan SQL Server CE 3.5, CE 4.0, SQL Server Express 2008 R2 och SQL Server 2012 Express LocalDB på ErikEJs utmärkta Everything SQL Server Compact webbplats.