Jag har sökt på nätet efter en lösning men inte hittat någon så här är vad vi kom fram till (det kan finnas bättre sätt men det här är åtminstone en början om någon annan stöter på det här).
Ange dtype parameter i to_sql .
Vi gick från:df.to_sql(table_name, analytics_db) till df.to_sql(table_name, analytics_db, dtype={'name_of_json_column_in_source_table': sqlalchemy.types.JSON}) och det bara fungerar.