|
평일주간: http://www.topcredu.co.kr/sub/crcl/lecture/db
선수학습: 자바
교육기간: 2일 총 14시간
수강료: 420,000원
교재: 자체교재 or PDF 제공
| 교육개요 |
최근에는 R, Python등으로 데이터 분석을 많이 하지만 이러한 한대의 컴퓨터로 데이터를 처리하기 때문에 처리 용량과 속도에 한계가 있습니다. 아파치 스파크 (Apache Spark)는 빠른 속도와 적극적인 메모리 활용, 간편한 인터페이스로 큰 인기를 얻고 있으며 머신러닝, 그래프 알고리즘, 실시간 스트리밍 처리등의 확장 프로젝트들을 제공하고 있습니다. 본 과정에서는 스파크의 등장까지의 배경과 스파크의 핵심 개념에 대해 알아보고, 머신러닝, 스트리밍 등의 실습을 통해 단기간에 스파크에 대한 이해를 높이고 시스템에 바로 적용해 보는 것을 목표로 하고 있습니다. |
| 수료조건 |
출석률 80%이상 |
| 교육목표 |
- 아파치 스파크의 등장까지의 배경 - 스파크의 핵심 개념을 이해- Scala 프로그래밍 언어를 학습 - 스파크 RDD 인터페이스를 이해, 실습- 스파크 SQL의 이해, 실습- 스파크 MLlib의 이해, 실습- Mllib과 스파크 ML을 이용한 머신 러닝 애플리케이션 개발 방법의 이해, 실습- 스파크 스트리밍을 이용한 고속 데이터 스트림 처리 방법의 이해, 실습 |
| 교육대상 |
- 빅데이터에 관심 있는 자- 아파치 스파크의 도입을 원하는 자- 아파치 스파크에 관심있는 개발자, 데이터분석가, DB전문가 |
교육내용
| 빅데이터 스파크 프로그래밍 1일차 |
Apache Spark이 나타나기까지Spark 핵심개념Scala 프로그래밍- 기본문법- 함수형 프로그래밍RDD 프로그래밍- 데이터 로드, 저장- RDD Transformations- RDD Actions- 캐싱Spark Core 실습 |
| 빅데이터 스파크 프로그래밍 2일차 |
Spark SQL - Dataframe API - Spark SQL과 Zeppelin을 활용한 데이터 분석 Spark Streaming- Spark Streaming 개념 - 스트리밍 분석 앱 만들기 – 트위터 분석MLlib (머신러닝)- MLlib Overview- 예제 및 실습 |
|