Jag är i exakt samma situation, följde exakt samma steg och hade samma problem.
Det som fungerade för mig var:
sudo service mongod stop
sudo apt-get purge mongodb-org*
Ta INTE bort datakataloger - alla dina data kommer att gå förlorade om du gör det.
Obs:Anropar sudo apt-get purge mongodb-org* tar bort mongod.conf fil. Om du vill behålla den här filen efter uppdateringen, se till att du skapar en säkerhetskopia av den och använd den efter att den nya versionen har installerats.
Sedan installera mongodb med:
sudo apt-get install -y mongodb-org
Detta förutsätter att du redan har utfört de tidigare installationsstegen (importera den publika nyckeln, skapa en listfil, ladda om lokal paketdatabas) som du har angett.