스파크 SQL 로 출력한 결과를 csv 파일에 저장하는 기본 코드
scala> sql(""" 출력 코드""").coalesce(1).write.option("header","true").option("sep",",").mode("overwrite").csv("/home/oracle/ff")
설명
coalesce(1) : 하나의 파일에 모두 담아라
괄호에 숫자 2를 쓰면 2개의 파일에 나눠 담아라는 뜻이다.
write.option("header","true") : 컬럼명(header) 이 나오게 해라
option("sep",",') : 콤마(,) 로 구분하는 csv 파일 형태로 저장해라
mode("overwrite").csv("/home/oracle/ff"): /home/oracle/ff 라는 폴더를 만들어서 그 폴더 안에
데이터를 생성해라
'스파크(SPARK)' 카테고리의 다른 글
스파크로 WHERE 절 서브쿼리 문제 풀기 (1) | 2022.09.21 |
---|---|
스파크 SQL 기본 코드 예제 (group by, rank) (0) | 2022.09.20 |
스파크로 하이브(hive) SQL 사용하기(예제:emp 테이블) (1) | 2022.09.20 |
스파크에서 작업이 안되고 계속 에러가 날 때 조치 방법 (0) | 2022.09.20 |
스파크(SPARK) 접속하여 HIVE SQL 사용하기(시작 단계) (0) | 2022.09.20 |