Du kan bli av med dem genom att koda uttryckligen så att du kan använda errors="replace" eller ignore De resulterande byten blir inte vackra men de kommer att loggas.
logging.error("Exception: " + str(ex.args[1].encode(encoding='charmap', errors='replace')))