Big Data/데이터 기초4 ELTL (최신 데이터 아키텍처/데이터 재사용/프로세스 관리) 오늘도 Azure로운 Power Platform :D 요새 새로이 등장하고 있는 데이터 아키텍처가 있습니다. ELTL이죠. Extract - Load - Transform - Load 순서로 구성된 아키텍처입니다. 기존의 ETL이나 ELT 방식의 끝에 로드단계가 하나 더 붙었습니다. ELTL구조로 데이터 아키텍처를 간단히 그려본다면 다음과 같을 겁니다. 우선 위 그림을 간단히 설명하자면, 추출부터 마지막 로드까지를 오직 Power BI로만 처리한 방법과 Azure를 사용한 방법으로 나뉩니다. 구분 기분은 구축 규모죠. Power BI로만 구성된 흐름은 Self BI에 적합하며, Azure를 사용한 흐름은 엔터프라이즈 규모에 적합합니다. (간혹 Power BI로 아예 안되는 것은 아니지 않느냐 하시는 분들.. 2022. 8. 4. ETL과 ELT (데이터 프로세싱 아키텍처/가공 처리 과정) 오늘도 Azure로운 Power Platform :D 데이터 엔지니어링이나 데이터 사이언티스트 직업을 가지고 계신 분들은 ETL과 ELT라는 용어에 익숙하실겁니다. 주로 데이터 프로세싱 아키텍처를 짤때 많이 등장합니다. 데이터 프로세싱 아키텍처는 종류도 복잡도도 다양합니다만, 핵심 패턴은 존재합니다. 그게 바로 ETL과 ELT입니다. 1. ETL / ELT 란? ETL : Extract - Transform - Load | 추출 - 가공 - 로드 ELT : Extract - Load - Transform | 추출 - 로드 - 가공 과거에는 ETL 방법만이 존재했습니다. 로드할 데이터 저장소에서 비정형/반정형 데이터를 처리할 수 없었기 때문이죠. 모든 데이터는 데이터 저장소에 로드 되기전 해당 데이터 저장.. 2022. 8. 3. 빅데이터랑 4차 산업혁명 오늘도 Azure로운 PowerPlaform :D 제조업 르네상스를 4차 산업혁명 혹은 DT (Digital Transformation)이라고 부르기도 합니다. 아래는 2016년경의 주요국 제조업 르네상스 정책을 정리한 표입니다. 당시 세계 주요국들은 제조업 르네상스를 바라보며 많은 정책들을 쏟아냈죠. 당시에도 독일은 DT의 선두에 있었습니다. 현재 역시 Smart Farm, Smart Factory 분야의 선두역할을 하고 있죠. Smart Factory에 사용된 RAMI 4.0 모형이 대표적입니다. 타 업종 간의 원활한 의사소 통을 도와주는 도구이자 모형이죠. 이제는 여러 분야의 사람들이 협업을 하는 시대입니다. 더 이상 자신의 전문분야에 대한 지식만으로는 협업을 할 수가 없습니다. 그렇다보니 다른 분.. 2022. 7. 8. 데이터 가치 오늘도 Azure로운 PowerPlatform :D 빅데이터라는 단어는 익숙하신 분들이 많이 있지만, 빅데이터가 왜 가치 있는가에 대해서는 추상적으로 밖에 와닿지 않으실겁니다. 데이터의 가치는 원래 없다가 생겨난 것이 아니라 원래 있었지만 그 가치를 모르고 있다가 근래 알게 된 것입니다. 과거에는 데이터를 많이 쌓거나, 여러곳에서 수집하거나, 다양한 형태로 가공하는 것이 어려웠습니다. 그렇다보니 데이터의 누적량은 많지 않았고, 큰 규모라고 해봐야 조직 내에서 뽑아보는 통계자료에 사용되는 데이터 정도였습니다. 데이터가 생성되는 원천도 많지 않았었죠. 그러나 SNS의 발달, 산업의 발달, 그리고 기술의 발달 등으로 세상 곳곳에서 데이터가 생성되고 수집되고 소비됩니다. 많은 데이터를 저장하는 것도 가능하게 되.. 2022. 7. 7. 이전 1 다음
