Jag tror inte att det finns några problem med .populate('adminInfo.adminId')
metod.
är du säker på att ref fältet finns i CamelCase .
Om inte, försök att ändra ref-fältet ->
adminInfo: {
_id: false,
adminId: [{
type: Schema.Types.ObjectId,
ref: 'user'
}]
}