sql >> Databasteknik >  >> RDS >> Mysql

Spark JoinWithCassandraTable på TimeStamp-partitionsnyckeln STOCK

Genom att använda:

sc.parallelize(startDate to endDate)

Med startData och endDate som Longs genererade från Datum med formatet:

("yyyy-MM-dd HH:mm:ss")

Jag skapade gnista för att bygga en enorm array (100 000+ objekt) för att gå ihop med C*-tabellen och den fastnade inte alls - C* arbetade hårt för att få sammanfogningen att ske och returnera data.

Äntligen ändrade jag mitt sortiment till:

case class TableKey(created_dh: String)
val data = Array("2015-10-29 12:00:00", "2015-10-29 13:00:00", "2015-10-29 14:00:00", "2015-10-29 15:00:00")
val snapshotsFiltered = sc.parallelize(data, 2).map(TableKey(_)).joinWithCassandraTable("listener","snapshots_tnew")

Och det är ok nu.




  1. Lagra IPv6 i databasen

  2. Hitta databasanslutningsläckor i din applikation

  3. Formatera ett telefonnummer i SQL Server (T-SQL)

  4. Slavning av en kraschad MySQL-masterserver i semisynkron replikeringsinställning