Snowflake DevOps¶

Workflows durch Aufbewahren der Assets in einem mit Snowflake verbundenen Git-Repository optimieren¶

Sie können Konsistenz sicherstellen, die Zusammenarbeit vereinfachen und bei Bedarf Rollbacks durchführen, indem Sie Ihre Datenassets, Ihren Code und Ihre Konfigurationen zentral in einem Git-Repository verwalten und Versionen zentral kontrollieren und dann das Repository über Snowflake verwenden.

Sie können Ihr Snowflake-Konto mit Ihrem Git-Repository verbinden, damit Snowflake den Code ausführen kann, der sich in den aus dem Repository geklonten Dateien befindet. Das Ergebnis ist ein Git-Repository-Stagingbereich, der einen vollständigen Klon Ihres Repositorys darstellt. Von Snowflake aus können Sie auf versionskontrollierte Dateien in einem bestimmten Commit, Branch oder Tag zugreifen.

Mit dem Stagingbereich können Sie eine Snowpark-Funktion oder -Prozedur aus einer versionskontrollierten Datei erstellen und versionierte SQL-Skripte direkt mit EXECUTE IMMEDIATE FROM ausführen oder die Snowflake-CLI zur Ausführung von Python-Skripten verwenden. Auf diese Weise können Sie Datenbankobjekte deklarativ mit SQL oder Python definieren und diese Objekte dann mit einer robusten und einfach einzurichtenden CI/CD-Pipeline einsetzen.

Separate Umgebungen für Entwicklung, Test und Produktion verwalten¶

Durch die Beibehaltung getrennter Umgebungen für Entwicklung, Test und Produktion können Ihre Teams die Entwicklungsaktivitäten von der Produktionsumgebung isolieren und so die Wahrscheinlichkeit unbeabsichtigter Folgen und Datenbeschädigungen verringern.

Wenn Sie Workflows in mehrere Umgebungen aufteilen, erhält jede ihre eigene Snowflake-Datenbank – in der Regel eine identische Kopie.

CREATE OR ALTER TASK {{ environment }}.my_schema.my_task
  WAREHOUSE = my_warehouse
  SCHEDULE = '60 minute'
  AS select pi();

import os
from snowflake.core import Root, CreateMode
from datetime import timedelta
from snowflake.core.task import Task

my_task = Task(
    name="my_task",
    warehouse="my_warehouse",
    definition="select pi()",
    schedule=timedelta(minutes=60)
)
root = Root(Session.builder.getOrCreate())
tasks = root.databases[os.environ["environment"]].schemas["my_schema"].tasks
tasks.create(my_task, mode=CreateMode.or_replace)

snow git execute @my_git_repo/branches/main/path/to/my_scripts" \
    -D "environment='preprod'"

Änderungen mit deklarativem Code und Versionierung verwalten¶

Sie können Änderungen an Ihren Datenbankressourcen mithilfe von wiederverwendbaren Konfigurationsdateien in Ihrem Git-Repository einfacher verwalten.

Sie können Datenbankobjekte mit dem CREATE OR ALTER <objekt>-Befehl definieren, der das Objekt erstellt oder es so verändert, dass es mit der vom Befehl angegebenen Definition übereinstimmt. Wenn Sie diesen Befehl von einer versionierten Datei in einem Repository aus verwenden, können Sie Änderungen einfacher auf eine frühere Version zurücksetzen: Sie führen einfach eine frühere Version der Datei aus.

CREATE OR ALTER TABLE vacation_spots (
  city VARCHAR,
  airport VARCHAR,
  avg_temperature_air_f FLOAT,
  avg_relative_humidity_pct FLOAT,
  avg_cloud_cover_pct FLOAT,
  precipitation_probability_pct FLOAT
) data_retention_time_in_days = 1;

from snowflake.core import Root
from snowflake.core.table import PrimaryKey, Table, TableColumn

my_table = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"].fetch()
my_table.columns.append(TableColumn(name="city", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="airport", datatype="varchar", nullable=False]))
my_table.columns.append(TableColumn(name="avg_temperature_air_f", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_relative_humidity_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="avg_cloud_cover_pct", datatype="float", nullable=False]))
my_table.columns.append(TableColumn(name="precipitation_probability_pct", datatype="float", nullable=False]))

my_table_res = root.databases["my_db"].schemas["my_schema"].tables["vacation_spots"]
my_table_res.create_or_alter(my_table)

CI/CD-Jobs mit GitHub Actions automatisieren¶

Sie können GitHub-Aktionen verwenden, um die Jobs zu automatisieren, die eine CI/CD-Pipeline bilden. Mit GitHub-Action oder ähnlichen CI/CD-Runners können Sie Workflows definieren, mit denen Erstellungs-, Test- und Bereitstellungsaufgaben automatisiert werden.

In diesen Workflows können Sie andere Features von Snowflake und GitHub nutzen, um die Teile zusammenzufügen. Alternativ können Sie auch Folgendes tun:

• Speichern Ihrer Snowflake-Anmeldeinformationen in einem GitHub-Geheimnis, sodass GitHub Actions eine Verbindung zu Snowflake herstellen kann.

• Installieren Sie einfach Snowflake-CLI und stellen Sie mithilfe der nativen Snowflake-CLI GitHub-Aktion eine Verbindung zu Snowflake her.

• Ausführen von Befehlen in Snowflake durch Verwendung der Snowflake CLI. Rufen Sie zunächst die letzten Änderungen aus Ihrem Git-Repository in Snowflake ab. Als Nächstes führen Sie Ihre deklarativen und parametrisierten Skripte aus, um Ihre Änderungen in einer Umgebung Ihrer Wahl bereitzustellen.

Bei dem GitHub Actions-Workflow-Auszug im folgenden Beispiel wird eine Pipeline bereitgestellt. Der Workflow authentifiziert sich bei Snowflake, indem er die benötigten Werte aus zuvor konfigurierten Geheimnissen abruft.

Um die Pipeline bereitzustellen, führt der Workflow die folgenden snow git-Befehle aus:

• snow git fetch ruft das Neueste aus dem GitHub -Repository ab, das in den Stagingbereich des Git-Repository my_git_repo in Snowflake geklont wurde.

• snow git execute führt die Python- und SQL-Skripte im Verzeichnis /scripts aus dem Zweig main des Repositorys aus.

name: Deploy scripts to preprod

on:
  push:
    branches:
      - main

jobs:
  deploy:
    runs-on: ubuntu-latest

    env:
      SNOWFLAKE_CONNECTIONS_DEFAULT_ACCOUNT: ${{ secrets.SNOWFLAKE_ACCOUNT }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_USER: ${{ secrets.SNOWFLAKE_USER }}
      SNOWFLAKE_CONNECTIONS_DEFAULT_PASSWORD: ${{ secrets.SNOWFLAKE_PASSWORD }}

    steps:
      - name: Checkout repository
        uses: actions/checkout@v4

      - name: Install snowflake-cli
        uses: Snowflake-Labs/[email protected]
        with:
          cli-version: "latest"
          default-config-file-path: ".snowflake/config.toml"

      - name: Fetch repository changes
        run: snow git fetch my_git_repo

      - name: Deploy scripts to preprod environment
        run: snow git execute @my_git_repo/branches/main/scripts/* \
            -D "environment='preprod'"