[Power BI] Streaming Dataset (실시간/real-time/스트리밍)

오늘도 Azure로운 PowerPlatform :D

 

요새 "실시간"이라는 키워드에 많은 분들이 관심을 보여주고 계십니다. 하지만 실시간 차트를 보고 싶다고 말씀하시는 분들 이야기를 듣다보면 실시간이 아니라 결국 배치(batch)이거나 near real-time인 경우가 많죠. 이 차이점에 대해서는 따로 포스팅 하겠습니다.

 

이번 포스팅에서 소개시켜드릴 차트는 배치가 아니라 데이터 한 행 한 행 쌓일때 마다 바로바로 반영되는 real real-time 데이터 세트, 즉 스트리밍 데이터 세트(Streaming Dataset)입니다. 

 

이 데이터세트는 데이터가 들어오는 대로 아래와 같이 바로바로 반영해줍니다. 해당 예시는 제가 물류창고 재고현황 보고서 샘플을 만들면서 개발한 차트입니다. 창고별 재고수량 현황을 나타내고자 하는 것이 목적이죠.

 

어떻게 만드는 지 설명하기 앞서 먼저 짚고 넘어가야하는 Streaming dataset의 특징들이 있습니다.

 

Pulling이 아니라 Pushing

Power BI를 사용해보신 분들은 아시겠지만 Power BI가 데이터를 handle하는 방식은 pulling입니다. 즉, Power BI가 필요할 때(보통 refresh할 때)마다 원본에 쿼리를 날려서 가져오는 방식이죠. 이게 일반적인 dataset이 데이터를 가져오는 방식입니다.

그러나 Streaming dataset은 다릅니다. 원본에서 데이터를 push, 즉 쏴주어야 합니다. 그 때 어떤 방식을 사용할 것인지는 옵션이 있습니다. 아래에서 설명드리겠습니다.

 

Power Query 및 DAX를 사용한 데이터 가공 불가

Streaming dataset을 Power BI Desktop에서 연결한 후 가공할 수 없습니다. 모델링과 measure를 만드는 것은 가능하지만 테이블을 가공할 수는 없습니다.

 

실시간 반영은 오직 대시보드

데이터 새로고침 및 차트 새로고침을 일절 하지 않고 즉각적으로 데이터가 반영되는 모습을 볼 수 있는 환경은 대시보드입니다. 보고서를 만들어서 게시하였다 하더라도 보고서에서는 실시간으로 움직이는 차트를 볼 수 없습니다. 대시보드에 차트를 고정해야만 가능합니다.

 

---

 

Streaming dataset을 사용하게 되면 아래와 같은 구조로 데이터셋을 사용하게됩니다. (아래 예시는 API를 통한 데이터 전송 방식입니다.)

이 Streaming dataset은 Power BI Service에서 만들 수 있습니다.

[New] 버튼을 누르면 나오는 여러 항목들 중 [Streaming dataset]을 클릭하면 됩니다.

그러면 아래와 같은 화면이 뜨는데, Streaming dataset에 데이터를 어떤 방식으로 쏠 것인지 선택하는 창입니다.

옵션을 선택한 후 각 옵션에 맞게 데이터 스키마 설정 및 데이터 원본과 연결 설정을 완료하여 사용하시면 됩니다.

 

어디까지나 개인적인 견해입니다만, Azure Stream이나 Pubnub같은 경우 비즈니스 쪽 엔터프라이즈 스케일에 적합합니다. 간단한 정도라면 Azure function이나 Power Automate를 사용해서 API를 전송할 수도 있죠. 현장 상황 및 아키텍처에 적합한 방식으로 사용하시면 됩니다.