SK 제조 및 하이테크 산업용 AI기반 빅데이터분석시스템 구축
[ 개요 ]
워크플로우 기반으로 분석모델설계 및 실행을 위한 통합분석시스템으로써, 데이터수집, 데이터전처리, 모델링 알고리즘을 통한 순환적분석 등 AI기반으로 빅데이터를 효과적이고 효율적으로 처리 및 분석하게 구축하였습니다.
[ 기능 ]
전처리시스템 / DP(Data Preparation) 제공 / 머신러닝기반 알고리즘 지원 / 통계기반 분석모델지원 화면시각화 지원 등
[ 기술 ]
Oozie, Spark, Hive, Sqoop, Java, R, Python, Scala, HDP(2.4), JavaScript
[ 성과 ]
분석가가 프로그래밍 언어를 활용한 개발 역량이나 하둡 에코 시스템 활용 역량에 상관 없이 분석업무를 단계별로 쉽고 빠르게 진행할 수 있도록 하는 효과를 가져왔습니다.