Du måste ha använt .msi-installationsprogrammet. Den registrerar automatiskt en Windows-tjänst som startar direkt efter installationen (åtminstone på min win 10-maskin).
Den här tjänsten använder standardkonfigurationen och binder till port 6379. När du startar redis-server från kommandoraden, om du inte har angett en annan port via en konfigurationsfil, hämtar den standardkonfigurationen igen och försöker binda till porten 6379 som misslyckas.
Din cli fungerar eftersom den ansluter till redis-tjänsten som redan lyssnar på 6379. Ditt shutdown-kommando stoppar tjänsten och därifrån fungerar saker som förväntat. Mysteriet löst. Ärendet avslutat.