"[2002] Connection refused" betyder att du kan nå databasservern, men du har inte rätt åtkomst för användaren (i ditt fall admin). Som standard har mariadb en root-användare med lösenordet som ges av MYSQL_ROOT_PASSWORD och denna användare kan ansluta från vilken server som helst (%).
Om du vill använda en överinloggning till dina databaser måste du skapa den i databasens server med rätt tilldelning på databaser från valda platser.
Problemet här är att du har döpt din databasserver till 'mysql' (tjänstens namn i docker-compose-filen). Men som standard försöker phpmyadmin ansluta till en databasserver som heter 'db'. Lägger till PMA_HOST: mysql under miljöavsnittet i phpmyadmin-tjänsten kommer att lösa det här problemet.
Jag tror att MYSQL_USERNAME och PMA_ARBITRARY är värdelösa om du arbetar med standardkonfiguration (anslutning med root till din databasserver)