Snowflake Horizon Catalog¶

Snowflake Horizon Catalog는 어떤 사용자에게 유용합니까?¶

Snowflake Horizon Catalog는 조직의 콘텐츠를 관리, 검색 또는 작업하는 데 이해관계가 있는 모든 사람을 위한 솔루션을 제공합니다. 이러한 이해 관계자는 다음과 같습니다.

데이터 관리자:

데이터 관리자는 데이터, 앱, 모델에 대한 액세스를 제공하면서 동시에 적절한 사용자가 콘텐츠에 액세스할 수 있도록 하기를 원합니다. 그리고 민감한 데이터를 식별하고 적절하게 보호할 수 있기를 원합니다. 누가 어떤 데이터를 사용하는지 파악하고, 데이터의 품질을 이해하는 것이 데이터 관리자의 임무입니다.

Horizon Catalog를 사용하면 데이터 관리자가 내장된 해결 방법을 통해 조직의 내용을 효과적으로 관리할 수 있습니다. 데이터 관리자는 세분화된 수준에서 콘텐츠를 보호하여 더 많은 대상 그룹이 안전하게 사용할 수 있도록 하고, 보안, 데이터 품질, 민감한 데이터의 흐름을 모니터링하는 도구를 사용하며, 데이터에 액세스한 사람과 해당 액세스가 안전하게 이루어졌는지 지속적으로 감사를 수행할 수 있습니다.

데이터 팀:

분석가, 데이터 과학자, 데이터 엔지니어로 구성된 데이터 팀은 자체 작업에 적합한 데이터, 앱 또는 모델을 찾는 데 어려움을 겪는 경우가 많습니다. 오브젝트를 찾은 후에는 데이터가 최신이고 신뢰할 수 있는지, 열이 무엇을 의미하는지, 누가 소유하고 있는지 파악하기가 어렵습니다. 올바른 데이터라고 판단한 경우에도 해당 데이터에 액세스하는 데 며칠 또는 몇 주가 걸릴 수 있습니다.

Horizon Catalog는 데이터 팀이 관련성 있는 내용을 더 빠르게 찾고 공동 작업할 수 있도록 지원합니다. Horizon Catalog는 적합한 데이터를 쉽게 찾고, 요구 사항을 충족하는지 확인할 수 있도록 데이터를 이해하고, 해당 데이터에 대한 조치를 취함으로써 이러한 팀이 내용에서 더 많은 가치를 추출할 수 있도록 지원합니다. 데이터 팀은 조직 목록을 활용하여 동료가 공유하고 내부 Marketplace를 통해 자동 완성되는 관련성 있는 최신 데이터 제품을 검색하고 포함함으로써 협업과 데이터 기반 의사 결정을 개선할 수 있습니다.

조직의 콘텐츠 범위¶

Horizon Catalog는 계정의 내부 저장소에서 Snowflake 테이블과 뷰 이상의 항목을 관리하고 검색할 수 있도록 합니다. 여기에는 다음을 포함한 다양한 콘텐츠가 포함됩니다.

• 조직 목록 및 내부 Marketplace 를 사용하여 공유된 데이터를 포함하여 전체 조직의 계정에 있는 데이터, 앱 및 모델.

• Apache Iceberg™ 테이블 및 외부 테이블 의 데이터.

• 신뢰할 수 있는 파트너가 비공개 목록 을 통해 공유하는 데이터.

• Snowflake Marketplace 에서 공개적으로 제공되는 데이터 및 모든 Snowflake Native App.

• 커넥터 를 사용하여 서드 파티 애플리케이션 및 데이터 시스템의 데이터를 Snowflake로 가져옵니다.

콘텐츠 관리¶

Horizon Catalog는 데이터 관리자가 조직의 데이터, 앱, 모델을 관리하는 데 필요한 도구를 제공합니다.

규정 준수:

Horizon Catalog를 사용하면 다음 작업을 수행할 수 있습니다.

• 콘텐츠의 액세스 기록 및 오브젝트 종속성 을 감사합니다.

• 기본 제공 및 사용자 지정 데이터 메트릭 함수 를 사용하여 데이터 품질을 모니터링하면 문제를 해결하고 시각화할 수 있습니다. 중앙 집중식 테이블을 기반으로 경고를 구성하여 실시간에 가까운 데이터 품질 알림을 활성화할 수 있습니다.

• Snowsight 에서 데이터 계보 를 확인하여 소스 테이블에서 대상 테이블까지의 테이블 및 열 계보를 파악하고, 다운스트림 또는 업스트림 테이블에 나타나는 열에 태그를 설정합니다.

• SQL을 작성하지 않고도 테이블 및 뷰에 대한 정보를 알아볼 수 있는 사용자 인터페이스를 사용하여 오브젝트 인사이트 ^[1] 를 볼 수 있습니다. 데이터에 액세스하는 사용자, 데이터에 가장 자주 액세스하는 쿼리, 데이터의 거버넌스 태세를 수정한 사용자, 데이터에 다운스트림 또는 업스트림 종속성이 있는지, 데이터가 민감한 것으로 분류되었는지 여부를 확인할 수 있습니다.

• 오브젝트 태그 지정 으로 구현된 사용자 정의 태그 또는 열의 내용에 따라 열에 자동으로 할당된 분류 태그(시스템 정의 또는 사용자 지정)를 모니터링하여 데이터를 추적할 수 있습니다.

_{[1] 현재 비공개 미리 보기로 제공됩니다.}

보안:

Horizon Catalog를 사용하면 다음 작업을 수행할 수 있습니다.

• Trust Center 를 사용하여 인터넷 Trust Center에서 설정한 벤치마크(CIS)를 충족하는지 여부를 포함하여 계정의 현재 보안 태세를 확인할 수 있습니다.

• 엔드투엔드 암호화 를 사용하면 미사용 중이거나 Snowflake를 오가는 동안 제3자가 데이터를 읽지 못하도록 하는 동시에 공격 표면을 최소화할 수 있습니다.

• OAuth 또는 페더레이션 인증 등 원하는 인증 방법을 선택합니다.

• 세분화된 권한 제어 를 사용하여 오브젝트에 대한 액세스를 제어합니다.

• 데이터 액세스 정책을 정의하고 적용하여 열 수준 및 행 수준 보호를 제공합니다.

개인정보 보호:

Horizon Catalog를 사용하면 다음 작업을 수행할 수 있습니다.

• 집계 정책 과 프로젝션 정책 을 정의하고 할당하여 공유 데이터에 대해 실행할 수 있는 쿼리 유형을 제어합니다. 집계 정책에서는 분석가가 개별 행을 검색하는 대신 데이터를 집계하는 쿼리를 실행해야 합니다. 프로젝션 정책은 분석가가 SELECT 문을 사용하여 특정 열을 프로젝션할 수 있는지 여부를 제어합니다.

• 개인 ID를 보호하면서 매우 민감한 데이터를 분석가에게 공개할 수 있습니다. 차등 개인정보 보호 는 엄격한 수학을 사용하여 데이터에 대한 정교한 개인정보 보호 공격으로부터 보호합니다.

• Snowflake Data Clean Room 을 사용하여 개인정보 보호를 유지하면서 협업을 촉진합니다.

• 직접 작업할 수 있는 유사한 특성을 가진 데이터를 합성적으로 생성하여 민감한 데이터에서 인사이트를 배울 수 있는 사람을 확대하십시오.

콘텐츠 발견 및 작업 수행하기¶

데이터 팀은 작업을 수행하기 위해 조직의 데이터, 앱, 모델을 활용합니다. Horizon Catalog는 이러한 팀에 작업에 필요한 내용을 발견하고, 내용이 관련성 있고 신뢰할 수 있는지 평가하고, 내용에 대한 작업을 수행하는 데 필요한 도구를 제공합니다.

발견:

Horizon Catalog를 사용하면 다음 작업을 수행할 수 있습니다.

• 조직 내에서 데이터를 검색하고 작업을 수행하려면 내부 Marketplace 를 사용하십시오. 내부 마켓플레이스는 조직 목록을 검색할 수 있는 회사 전용 사이트입니다. 데이터 사전과 검증된 예제(SQL)가 포함된 위키 형식의 목록 페이지를 통해 내부 팀에서 선별한 데이터 제품을 쉽게 식별할 수 있습니다. 별도의 설정이 필요 없이 목록 이름만 복사본으로 저장하면 데이터를 바로 사용할 수 있습니다.

• 자연어를 사용하여 조직 내부 및 외부의 콘텐츠를 찾을 수 있는 사용자 인터페이스인 Universal Search 를 사용하여 데이터, 앱 및 모델을 검색할 수 있습니다.

• AI 가 생성한 설명을 읽으면 테이블과 열의 내용을 빠르게 이해할 수 있습니다. 오브젝트 소유자는 Snowsight 에서 버튼 하나만 클릭하여 설명 을 생성할 수 있으며, 이를 통해 오브젝트와 열에 유용한 설명이 포함될 가능성이 높아집니다. 이러한 유용한 설명은 Universal Search를 통해 오브젝트의 검색 가능성을 향상시킵니다.

• Snowflake Marketplace에서 공개적으로 사용 가능한 데이터를 찾습니다.

• Snowsight ^[3] 에서 오브젝트 인사이트를 사용하여 콘텐츠의 인기도, 액세스, 품질 및 종속성을 살펴봄으로써 데이터의 관련성을 평가합니다.

_{[3] 현재 비공개 미리 보기로 제공됩니다.}

협업:

Horizon Catalog를 사용하면 다음 작업을 수행할 수 있습니다.

• 조직 내에서는 내부 마켓플레이스 에서, 외부 비즈니스 파트너에게는 비공개 목록 을 사용하여 비공개로 데이터를 공유하십시오.

• Snowflake Marketplace 에서 데이터 상품을 구매하고 판매합니다.

• 사용자 인터페이스로 또는 SQL 명령 을 사용하여 프로그래밍 방식으로 목록을 관리합니다.

사용 사례: Horizon Catalog가 실제로 작동하는 모습 뷰¶

대형 금융 서비스 기업 BazFin이 10PB의 데이터로 구성된 콘텐츠의 규정 준수, 데이터 품질 및 사용성을 보장해야 한다고 가정해 보겠습니다. BazFin은 Horizon 카탈로그를 사용하여 콘텐츠를 관리하고 검색합니다.

콘텐츠 관리

CDO의 최고 데이터 책임자(BazFin)는 회사의 이해관계자들에게 고품질 데이터를 기반으로 비즈니스 의사결정이 이루어지고 있다는 확신을 제공해야 합니다. CDO는 데이터 관리자에게 시스템 정의 및 사용자 지정 데이터 메트릭 함수 를 활용하여 정기적으로 데이터 품질을 지속적으로 모니터링할 것을 지시합니다. 특정 날짜에 CDO는 이벤트 테이블에 구축된 대시보드를 보고 데이터 품질에 대해 보고할 수 있습니다.

업무에 복귀한 데이터 관리자는 Trust Center 를 열어 최근 새로운 부서를 위해 생성된 Snowflake 계정의 전반적인 보안 태세를 확인합니다. 그리고 기본 제공 인터페이스에서 누군가 알 수 없는 네트워크 트래픽으로부터 계정을 보호하기 위한 네트워크 정책을 정의하는 것을 잊어버렸다는 사실을 파악합니다.

콘텐츠 발견 및 작업 수행

BazFin 분석가는 실적이 가장 우수한 제품을 보여주는 새 대시보드를 만들고 싶어 합니다. 분석가는 내부 Marketplace로 이동하여 재무팀에서 게시한 성능 데이터로 적합한 조직 목록을 찾습니다. 분석가는 Data Dictionary를 탐색하여 데이터를 미리 본 다음, 목록의 통합 목록 찾기를 사용하여 바로 데이터 쿼리를 시작합니다.

이 분석가는 또한 서드 파티 데이터로 BazFin 데이터를 보강하고자 합니다. Universal Search 로 전환한 분석가는 자연어 검색어 income bands for zipcodes 를 사용하여 Snowflake Marketplace에서 BazFin 제품 성능 데이터와 조인할 수 있는 데이터 제품을 반환합니다.