Vid första rodnad låter det för mig som att din SQL Server Management Studio ansluter via ett annat nätverksbibliotek, till exempel Named Pipes, medan sqlcmd-klienten försöker ansluta via TCP och servern inte lyssnar där (eller kanske på en icke-standardport). Det är därför du får TCP-felet i det senare fallet.
