Bigdata system대용량데이터를 수집/분석/예측을 통한 빅데이터기반 의사결정시스템 구현으로 비즈니스 가치를 재창출하여 기업경쟁력을 높여 줍니다.
Feature
- Hadoop 및 수집/저장기술
- 대규모데이터, 다양한 데이터종류, 가공정재기술을 통해 하둡에 적재하여 품질화 시킬 수 있습니다.
- Opensource 기술을 통한 데이터처리
-
검증된 다양한 오픈소스 기술을 적용하여 Workflow 및 DP(Data Preparation) 개선으로 데이터처리를
혁신적으로 향상시킬 수 있습니다.
- Bigdata Analytics
-
Data Scientist를 위한 통계분석, 오픈소스 R을 기반으로 머신러닝 등 고급 분석, AI(DL, 딥러닝) 알고리즘
적용 및 Python으로 분석하여 데이터를 제공합니다.
Data Process
-
데이터 수집
- • RTDB 수집
- • RDB 수집
- • 정밀데이터
- • 텍스트데이터
- • 이미지데이터
-
데이터 적재/저장
- • 데이터 전처리
- • 기초 통계량
- • 이미지 필터링
- • 특성 추출
-
데이터 모델링
- • 단변량모델구현
- • 다변량 모델구현
- • 딥러닝 모델구현
- • 강화학습 구현
-
데이터 분석
- • 품질/공정분석
- • 설비/가상계측
- • 예측/연관분석
- • 추천/고객분석
-
데이터 시각화
- • 데쉬보드
- • 레포팅
- • 2D/3D Chart
- • 모니터링
Technology
- • 빅데이터플랫폼 : 호튼웍스(HDP), 클라우데라(CDH)
- • 수집/저장 : Nifi, Sqoop, Kafka, HBase, Accumulo, InfluxDB
- • 데이터 처리/분석 : MR, R, Python, Spark, Pig, Hive, Impala, Zeppelin
- • BI/시각화 : D3, Grafana, Nue.js
- • 데이터관리 및 모니터링 : Nifi(제품명: Taurus, 타우루스)
Architecture
