본문 바로가기

스파크(SPARK)

스파크 출력 결과 csv 파일 저장하기

스파크 SQL 로 출력한 결과를 csv 파일에 저장하는 기본 코드 

scala> sql(""" 출력 코드""").coalesce(1).write.option("header","true").option("sep",",").mode("overwrite").csv("/home/oracle/ff")

설명

coalesce(1) : 하나의 파일에 모두 담아라 

                      괄호에 숫자 2를 쓰면 2개의 파일에 나눠 담아라는 뜻이다.

write.option("header","true") : 컬럼명(header) 이 나오게 해라

option("sep",",') :  콤마(,) 로 구분하는 csv 파일 형태로 저장해라 

mode("overwrite").csv("/home/oracle/ff"):  /home/oracle/ff 라는 폴더를 만들어서 그 폴더 안에
데이터를 생성해라