Jag hade samma problem, och för mig visade det sig vara ett problem med hur jag skapade nyckelarkivet. Jag märker att du använder samma fil, truststore.ts, för både truststore och keystore. Detta kan fungera, men jag skulle föreslå att du använder separata filer för att undvika förvirring.
Jag hade redan skapat .pem-filer för rot-CA och för mongo-användaren och kunde framgångsrikt använda dem för att ansluta till mongo-skalet. Från dem skapade jag truststore.jks och keystore.jks.
Först, för att skapa truststore.jks körde jag:
keytool -import -alias root -storepass mypass -keystore truststore.jks -file rootca.pem -noprompt
För keystore.jks behöver du både de offentliga och privata nycklarna så konvertera först PEM-filen till PKCS12-format och importera sedan till en JKS:
openssl pkcs12 -export -out myuser.pkcs12 -in myuser.pem -password pass:mypass
keytool -importkeystore -srckeystore myuser.pkcs12 -srcstoretype PKCS12 -destkeystore keystore.jks -deststoretype JKS -deststorepass mypass -srcstorepass mypass