sql >> Databasteknik >  >> RDS >> Mysql

Ett sätt att läsa tabelldata från Mysql till Pig

Som du säger, DBStorage stöder endast att spara resultat i en databas.

För att ladda data från MySQL kan du titta på ett projekt som heter sqoop (som kopierar data från en databas till HDFS), eller så kan du utföra en mysql-dump och sedan kopiera filen till HDFS. Båda sätten krävde viss interaktion och kan inte användas direkt inifrån Pig.

Ett tredje alternativ skulle vara att undersöka att skriva en Pig LoadFunc (du säger att du försökte skriva en UDF). Det borde inte vara alltför svårt, du måste klara ungefär samma alternativ som DBStorage (drivrutin, anslutningsuppgifter och en SQL-fråga att köra), och du kan förmodligen använda någon resultatuppsättningsmetadatainspektion för att automatiskt generera ett schema också.




  1. MySQL-förbättrande prestanda utan cache

  2. Hur man löser det saknade uttrycket i ORA-00936

  3. Utökade evenemang för SSAS

  4. Hur man aktiverar ENUM i Symfony 2 / Doctrine