Om du vill att data konverteras automatiskt bör du ange teckenuppsättningen när du skapar motorn:
create_engine('mysql+mysqldb:///mydb?charset=utf8')
Ställer in use_unicode ensam kommer inte att tala om för sqlalchemy vilken teckenuppsättning som ska användas.