$unset är tom. Du måste ange ett fält så här:{$unset:{:...}}

Jag kunde inte återskapa det felmeddelandet, men som du har sett kommer Mongoose bara att uppdatera fält som definieras i schemat. Du kan dock åsidosätta det standardbeteendet genom att inkludera strict: false alternativ:

groupsModel.update(
    {_id: group._id},
    {$unset: {"moderators": ""}, $set:{"admins": newAdmins}},
    {strict: false}
)