Nu hittade jag problemet. Användaren ritade polygonen med början nere till höger och gick medurs. Om jag ordnar om punkterna från största breddgraden och sedan går mot riktningen genom att sortera på lång, lat fungerar det. Hittade en hjälpare för det, men det fungerar bara om du "vet att det är fel":
if(sqlGeography.EnvelopeAngle() > 90)
sqlGeography ? sqlGeography.ReorientObject();
Sätt bara ihop en liten lösning som fixar mina värden:https://github.com/danielwertheim/GeographyFactory
och ett blogginlägg om det: http://danielwertheim.se/sqlgeography-in-sql-server-2012-polygon-must-start-on-correct-position/
och en uppföljning om det verkliga "problemet", vänsterregeln:
http:// danielwertheim.se/sqlgeography-in-sql-server-2012-polygon-must-start-on-correct-position-no/