sql >> Databasteknik >  >> RDS >> Mysql

Hur konverterar man ett 500GB SQL-bord till Apache Parkett?

Apache Spark kan användas för att göra detta:

1.load your table from mysql via jdbc
2.save it as a parquet file

Exempel:

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.read.jdbc("YOUR_MYSQL_JDBC_CONN_STRING",  "YOUR_TABLE",properties={"user": "YOUR_USER", "password": "YOUR_PASSWORD"})
df.write.parquet("YOUR_HDFS_FILE")


  1. Mysql InnoDB fel 32 på Windows

  2. Aktivera SSL eller TLS i Oracle Apps R12

  3. Hur man läser och analyserar SQL Server-exekveringsplaner

  4. Konvertera 'datetime2' till 'time' i SQL Server (T-SQL-exempel)