sql >> Databasteknik >  >> RDS >> Mysql

Hur importerar man tabell från MySQL till Hive med Java?

Eftersom sqoop options-metoden är utfasad kan du använda följande kod:

public static void importToHive() throws Exception{

    Configuration config = new Configuration(); 
    config.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
    config.addResource(new Path("/usr/local/hadoop/conf/hdfs-site.xml"));
    String[] cmd ={"import", "--connect",<connectionString>,"--username", userName,
     "--password", password,"--hadoop-home", "/usr/local/hadoop","--table",<tableName>,   "--hive-import","--create-hive-table", "--hive-table",<tableName>,"-target-dir",
           "hdfs://localhost:54310/user/hive/warehouse","-m", "1","--delete-target-dir"};

    Sqoop.runTool(cmd,config);
}

Använd rätt path för hadoop och hive lager , username , password för mysql. Kontrollera din port från core-site.xml (i mitt fall är det 54310)




  1. Alla värden ='s' i tabellen i PHP-fel

  2. Spring boot JPA:Använd biblioteket för att samla in data för MySQL

  3. Flernivåanvändare i databastabellen

  4. Hur man hanterar GetDate() med Entity Framework