Snowflake 데이터웨어하우스

구글 검색을 해보니 이제 한국에도 Snowflake가 상륙했나봅니다. 저희 회사에서도 Snowflake를 도입한지 얼마 안되며 많은 정보는 없지만 최대한 많은 노하우를 공유해보고자 합니다.

 

Snowflake 공식 Documents는 이곳입니다.

https://docs.snowflake.com/en/

Welcome to Snowflake Documentation — Snowflake Documentation

 

저희 회사에서는 작년 여름(Summer 2021)경부터 논의가 되어 하반기부터 본격적으로 도입하여 사용하기 시작하였으며, 아직 활발한 사용은 아니지만, 조금씩 그 범위를 넓혀 가고 있습니다.

기본적인 목적은 Cloud based Data Warehouse로서 현재의 Data Warehouse on-prem으로부터 migration하기 위한 것입니다. 현재 저희 회사에서 Data Warehouse on-prem으로 Oracle 12c RAC 2-node에 40TB정도의 Storage를 사용하고 있으며, 다른 Source 시스템으로부터 여러가지 integration application을 통해 데이터를 가져와 사용되고 있습니다.

Data Warehouse의 Business application으로는 SSRS 및 PowerBI를 주로 활용하고 있으며, 팀에 따라 Excel이나 Qlik 등을 사용하는 경우도 있습니다.

 

재작년부터 회사의 IT방향중의 하나가 Cloud라서 가능한 모든 시스템을 Cloud base로 migration하고 있는 중입니다. Data Warehouse도 그 중에 하나이구요.

 

Snowflake는 SaaS(Software-as-a-Service)로서 Data Warehouse 서비스를 사용자들이 사용하기 쉽도록 제공하며, 기본적으로 Compute(CPU/Memory), Storage, 및 Analytic solution들을 사용자가 고민하지 않고 사용할 수 있도록 하고 있습니다. 

 

 

출처 : Snowflake 교육자료

 

 

Snowflake의 구조는 위 그림과 같습니다. 

• Storage : Snowflake에서 사용하는 모든 스토리지는 centralized되어 이곳 storage에 저장됩니다.
• Multi-cluster compute : 여러개의 Virtual warehouse를 생성할 수 있으며 각각의 Virtual warehouse들은 사용 용도에 따라 Compute의 사이즈(warehouse size 및 cluster count)를 설정할 수 있으며, CPU 및 Memory의 역할을 합니다. 각각의 Virtual warehouse들은 동일한 Storage를 엑세스할 수 있습니다.
• Cloud services : UI, Optimization, Management, Transactions 등 기본적으로 DBMS를 사용할 때 필요한 모든 것들을 제공합니다.

Snowflake document 참조 : https://docs.snowflake.com/en/user-guide/intro-key-concepts.html

Key Concepts & Architecture — Snowflake Documentation

 

다음 포스팅에선 Snowflake의 기본적인 UI사용에 대해 정리해보겠습니다.