스파크(SPARK) 접속하여 HIVE SQL 사용하기(시작 단계)

1. 스파크 접속

scala> val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

2. hive SQL 을 스파크에서 사용하겠다고 지정

scala> val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

3. 원하는 sql 사용하면 됩니다. 

 

만약 스파크 접속이 안되면?

만약 다 어그러지면 

spark 빠져나와 (exit) 

oracle 에서 jps  

20046 sparksubmit 죽이기!

$kill -9 20046 

여기서 안되면 

reboot