당신의 Data는 과연 어디에 있을까요? 데이터 레이크(Data lakes), 데이터 웨어하우스(Data warehouses), 데이터 마트(Data marts)

내가 만든 혹은 나의 Data 는 과연 어디에 저장되고 어떻게 관리 되는지 한번쯤은 궁금하였습니다

저와 함께  수많은 회사들이 어떻게 클라우드 저장소에 접속하고 그 Data를 관리하는지 알아보고자 합니다.

 

 여러분의 데이터는 회사가 보유한 가장 귀중한 상품인 동시에 도처에 검증되지 않은 경로들이 여러분의 데이터를 훔치려는 계획을 세우고 있습니다. 클라우드 스토리지의 부상은 기업이 언제 어디서나 파일과 문서에 액세스할 수 있음을 의미하지만, 클라우드 기반 데이터 스토리지 솔루션에는 여러 가지 유형이 있으며 올바른 솔루션을 선택하는 것은 데이터 안전과 완전한 재앙 사이의 차이를 의미할 수 있습니다.

 

 

클라우드 기반 데이터 리포지토리에는

데이터 레이크(Data lakes) 데이터 웨어하우스(Data warehouses) 및 데이터 마트(Data marts)의  

세 가지 주요 유형이 있습니다.

각각 고유한 강점과 약점이 있으므로 비즈니스의 특정 요구 사항에 맞는 솔루션을 선택하는 것이 매우 중요합니다. 

다음은 데이터 스토리지 솔루션의 3가지 주요 유형과 귀하에게 적합한 솔루션을 살펴보는 것입니다.

 

데이터 웨어하우스(data warehouses)
데이터 레이크와 달리 데이터 웨어하우스는 구조화된 데이터의 보고 및 분석을 위해 특별히 설계되었습니다. 이는 추출, 변환 및 로드를 나타내는 ETL이라는 프로세스를 통해 수행됩니다. 먼저 데이터가 원래 소스에서 추출된 다음 데이터 웨어하우스의 매개 변수에 맞게 자동으로 변환됩니다. 여기에는 일반적으로 데이터 정리, 다른 소스의 데이터 결합 및 해당 데이터를 표준화된 형식으로 변환하는 작업이 포함됩니다. 마지막으로 변환된 데이터는 웨어하우스에 로드되고 할당된 위치에 정리됩니다.

 

데이터 웨어하우스에는 데이터 기반 의사 결정에 의존하는 산업 전반에 걸쳐 다양한 비즈니스 사용 사례가 있습니다. 

소매점은 데이터 웨어하우스를 사용하여 판매, 재고 및 고객 데이터를 저장하고 분석합니다. 

이 분석을 통해 상점은 품목 가격 및 재고 관리에 대해 더 나은 결정을 내릴 수 있습니다.

 

데이터 웨어하우스를 활용하는 다른 비즈니스에는 더 나은 위험 관리 전략을 알릴 수 있는 패턴을 식별하기 위해 고객 데이터와 금융 거래를 저장 및 분석하는 금융 기관과 생산 프로세스를 최적화하고 품질을 개선하기 위해 생산 및 공급망 데이터를 분석하는 제조 회사가 포함됩니다.

 

 

데이터 웨어하우스(data marts)
기술적으로 데이터 마트는 실제로 더 큰 데이터 웨어하우스 내에 포함되며 매우 특정한 비즈니스 기능을 제공하기 위한 것입니다. 데이터 웨어하우스 또는 레이크에는 일반적으로 기업의 모든 데이터가 포함되지만 데이터 마트에는 특정 기능과 관련된 데이터만 포함됩니다.

데이터 마트를 활용하는 기업은 일반적으로 짧은 시간 내에 매우 집중된 데이터 세트를 분석하려고 합니다. IBM에 따르면 데이터 마트는 전환율 및 ROI를 포함하여 캠페인 성과와 관련된 데이터를 추적하고 분석하여 향후 캠페인을 위해 개선할 수 있는 사항을 더 잘 이해하기 위해 대기업의 마케팅 부서에서 자주 사용합니다.

데이터 마트는 더 빠르고 집중적일 뿐만 아니라 주로 데이터 레이크 및 웨어하우스에 비해 크기가 작기 때문에 유지 관리 비용이 적게 드는 경향이 있습니다. 또한 데이터 마트는 해당 특정 데이터에 대해 작업하는 회사의 사람들만 액세스하도록 제한할 수 있으므로 레이크 및 창고보다 더 안전합니다.

 

Data harbor 

데이터 레이크, 웨어하우스 및 마트가 가장 주목할만한 클라우드 스토리지 솔루션이지만 유사한 서비스를 제공하거나 기존 데이터 리포지토리의 기능을 향상시키는 몇 가지 대체 스토리지 유형이 있습니다. Calamu라는 한 회사는 데이터 하버라고 하는 새로운 유형의 스토리지 솔루션의 첫 번째 공급자로 자칭하고 있습니다.

Calamu의 설립자이자 CEO인 Paul Lewis에 따르면 데이터 하버는 가장 민감한 정보를 보호하기 위한 추가 보안 계층과 같은 기능을 합니다. 데이터 리포지토리는 본질적으로 귀중한 데이터로 가득 찬 인터넷의 보안 수준이 높은 은행 금고이기 때문에 인터넷 해커의 주요 대상입니다. 데이터 하버를 사용하면 그 안에 저장된 정보는 도둑에게 가치가 없게 됩니다.

데이터 하버에 저장된 데이터는 여러 조각으로 조각나 여러 리포지토리에 분산된 다음 다시 암호화됩니다. 권한이 없는 침입자가 데이터에 액세스하려고 하면 무의미한 숫자 모음만 남게 됩니다.

데이터 조각이 사회 보장 번호가 적힌 종이 조각과 같다고 Lewis는 말합니다.  기본 암호화가 작동하는 방식입니다. 그 종이 조각을 다시 합치는 것은 어렵지만 불가능하지는 않습니다. Calamu가 할 수 있는 것은 데이터를 파쇄기에 넣은 다음 한 줌의 스크랩을 한 저장소에 넣고 다른 한 줌을 다른 저장소에 넣습니다. 이렇게 하면 누군가가 한 저장소를 해킹해도 데이터의 일부만 얻을 수 있고 그 자체로는 의미가 없습니다." 그러나 승인된 사용자가 해당 데이터에 액세스해야 하는 경우 Calamu는 이러한 조각을 원활하게 다시 통합할 수 있습니다.