Till slut hittade jag svaret på mitt problem. Teoretiskt sett är longitud x-axeln och latitud är y-axeln. Men vi är vana vid latitud-longitud snarare än longitud-latitud...Så sättet jag sökte på var fel
$near : [msg.lat, msg.lng]
När jag ändrade detta till $near :[msg.lng, msg.lat] , det började fungera även med 5 km... Så beställning var problemet.