På EF måste den första frågan körs den kompileras även om programmet redan är uppfyllt.
Jag skulle föreslå att du läser detta http://www.codeproject.com/Articles/38174/How-to-improve-your-LINQ-query-performance-by-X och denna https://msdn .microsoft.com/en-us/library/vstudio/bb896297%28v=vs.100%29.aspx och försöker igen för att se om detta hjälper.
Lycka till!