분류 전체보기 (108) 썸네일형 리스트형 스파크(SPARK) 접속하여 HIVE SQL 사용하기(시작 단계) 1. 스파크 접속 scala> val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 2. hive SQL 을 스파크에서 사용하겠다고 지정 scala> val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 3. 원하는 sql 사용하면 됩니다. 만약 스파크 접속이 안되면? 만약 다 어그러지면 spark 빠져나와 (exit) oracle 에서 jps 20046 sparksubmit 죽이기! $kill -9 20046 여기서 안되면 reboot 스파크 설치하기 스파크 설치는 간단하다! 1.oracle 의 홈디렉토리로 이동 (base) [oracle@centos ~]$ cd 2. 설치 파일 다운로드 (base) [oracle@centos ~]$ wget https://archive.apache.org/dist/spark/spark-2.0.2/spark-2.0.2-bin-hadoop2.7.tgz 3. 압축 풀기 (base) [oracle@centos ~]$ tar xvzf spark-2.0.2-bin-hadoop2.7.tgz 4. 압축 풀고 생긴 디렉토리의 이름을 spark 로 변경 (base) [oracle@centos ~]$ mv spark-2.0.2-bin-hadoop2.7 spark 5. .bash_profile 를 열어서 맨 아래에 아래의 export 문.. 스파크란 무엇인가 스파크 하둡의 단점을 개선하기 위해 나온 소프트웨어로 Hadoop과는 다른 독립된 프로젝트, Hadoop이 아닌 MapReduce를 대체하는 것 우선 하둡의 구조를 보자. 왜냐면 스파크는 하둡의 단점을 개선하기 위해 나온 것이기 때문. 하둡이란? 여러 컴퓨터를 사용하여 빅데이터를 분산저장, 분산처리할 수 있게 만든 시스템 즉, 빅데이터를 처리하는 시스템 하둡이라는 에코시스템은 단일 솔루션을 제공하는 게아닌 수집, 저장, 분석, 자원관리를 위한 솔루션 등이 포함되어있는 거대한 생태계. 이 생태계는 공통적으로 Hadoop 에서 제공하는 파일시스템(HDFS), 자원관리매니저(YARN), 맵리듀스(MapReduce) 를 사용한다. 하둡의 아키텍쳐를 보면 저장 - HDFS 에 저장하고, 분석작업 - 맵리듀스를 통.. 리눅스 프로세서 관리 명령어 [top , ps , kill, jobs] 평상시에 리눅스를 모니터링 해야하는데 그때 프로세서를 관리하는 명령어 리눅스 프로세서 관리명령어 1. top 2. ps 명령어 3. kill 명령어 4. jobs 명령어 [1] top 명령어 "지금 현재 작동중인 프로세서들의 cpu 사용율과 메모리 사용율을 확인하는 명령어" [root@localhost ~]# top 그러면 아래와 같이 프로세서들의 사용율이 나온다. PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 2761 root 20 0 162116 2328 1576 R 0.7 0.1 0:00.15 top 6 root 20 0 0 0 0 S 0.3 0.0 0:00.13 ksoftirqd/0 401 root 20 0 0 0 0 R 0.3 0.0 0:00.7.. 리눅스에서 자동화 스크립트 구현하기 #vi a.sh #vi a.sh echo " 0. 종료하기 1. 마리아 디비에 scott 유져로 접속하기 2. 마리아 디비에 root 유져로 접속하기 " echo -n "번호를 입력하세요" read choice case $choice in 0) exit ;; 1) mysql -h 192.168.122.1 -u scott -ptiger;; 2) mysql -u root -p1234;; esac maria db 테이블에 리눅스의 csv 파일 입력하기 maria db 접속하기 [root@localhost ~]# mysql -h 192.168.122.1 -u scott -p Enter password: #MariaDB 로 접속 MariaDB [(none)]> use orcl; Database changed #MaiaDB의 orcl 로 접속 MariaDB [orcl]> maria db 빠져나오기 MariaDB [orcl]> exit #혹은 MariaDB [orcl]> ctrl+C 리눅스로 maria db 접속하기 mariadb 부팅시 자동 시작 되도록 하려면 [root@localhost ~]# systemctl enable mariadb mysql 을 root 계정으로 접속 [root@localhost ~]# mysql -u root -p Enter password: 패스워드를 입력하면 Welcome to the MariaDB monitor. Commands end with ; or \g. Your MariaDB connection id is 3 Server version: 10.1.48-MariaDB MariaDB Server 이렇게 mariadb 로 들어가진다 . #mariadb mariadb 에 있는 database 보기 MariaDB[(none)]> show databases; +--------------.. 리눅스에서 jupyter notebook 접속하기 리눅스 서버실에서 주피터노트북 접속 1. 리눅스 서버에서 oracle 유져로 접속 2. 터미널 열고 jupyter notebook 명령어 실행 (base) [oracle@localhost ~]$ jupyter notebook 3. 그럼 firefox 로 jupyter notebook 이 실행된다 putty에서 주피터노트북 접속 1. putty를 oracle 유져로 접속하여 login as: oracle oracle@192.168.56.1's password: Last login: Thu Sep 8 11:00:13 2022 (base) [oracle@localhost ~]$ (base) [oracle@localhost ~]$ 로 되어있는 것 확인 2. 모바텀을 실행하여 x server 버튼 눌러 x ser.. 이전 1 ··· 10 11 12 13 14 다음
