Ett alternativ är att inte använda spark-redis, utan hellre slå upp i Redis direkt. Detta kan uppnås med df.mapPartitions fungera. Du kan hitta några exempel för Spark DStreams här https://blog.codecentric.de/en/2017/07/lookup-additional-data-in-spark-streaming/. Idén för Structural Streaming är liknande. Var noga med att hantera Redis-anslutningen korrekt.
