Pass Data Community Summit

Rurociąg CI/CD to zestaw procedur, które należy przestrzegać w celu dostarczenia nowej wersji oprogramowania. Ciągła integracja/ciągła dostawa (CI/CD) Rurociągi to zestaw praktyk mających na celu poprawę dostarczania oprogramowania za pomocą albo Devops lub Inżynieria niezawodności witryny (SRE) zbliżać się. Rurociąg CI/CD zawiera monitorowanie i automatyzację w celu poprawy procesu tworzenia aplikacji, szczególnie podczas Integracja I Testowanie fazy, a także w trakcie Dostawa I Zastosowanie. Chociaż każdy etap rurociągu CI/CD może być wykonany ręcznie, prawdziwa wartość rurociągu CI/CD jest realizowana poprzez automatyzację.

Budowanie Rurociągu CD Snowflake przy użyciu Azure Devops & Flyway Uproszczenie: 4 krytyczne kroki

Akronimy CI i CD są często stosowane w nowoczesnych praktykach rozwojowych i DevOps. Ciągła integracja (CI) odnosi się do podstawowej najlepszej praktyki DevOps, w której programiści często łączą zmiany kodu w centralne repozytorium, w którym uruchamiane są automatyczne kompilacje i testy. Z drugiej strony, Ciągła dostawa (CD) jest rozszerzeniem ciągłej integracji, ponieważ automatycznie wdraża wszystkie zmiany kodu w środowisku testowym i/lub produkcyjnym po etapie kompilacji.

Spis treści

Po całkowitym przejściu tego artykułu uzyskasz przyzwoite zrozumienie płatka śniegu wraz z kluczowymi funkcjami, które oferuje. W tym artykule zawiera również przewodnik krok po kroku, jak zbudować Snowflake CD CD Rurociąg w sposób płynny. Czytaj dalej, aby dowiedzieć się więcej o rurociągach CD Snowflake CD.

Spis treści

  • Wymagania wstępne
  • Co to jest płatek śniegu?
    • Kluczowe cechy płatka śniegu
    • Krok 1: Utwórz projekt demonstracyjny
    • Krok 2: Skonfiguruj środowisko produkcyjne
    • Krok 3: Utwórz grupę zmiennych biblioteki
    • Krok 4: Utwórz i uruchom rurociąg wdrażania płatków śniegu CI

    Wymagania wstępne

    • Praktyczne doświadczenie z git.
    • Aktywne konto płatka śniegu.
    • Aktywne konto usług Azure DevOps.

    Co to jest płatek śniegu?

    Snowflake jest jednym z najpopularniejszych Warehouse danych w chmurze To oferuje mnóstwo funkcji bez narażania prostoty. Skaluje automatycznie, zarówno w górę, jak iw dół, aby zaoferować to, co najlepsze Wydajność do kosztów stosunek. Odróżniającą cechą płatka śniegu jest to, że się oddziela Przetwarzanie danych z Składowanie. Jest to znaczące, ponieważ prawie każda inna magazyn danych, w tym Amazon Redshift, łączy te dwa, co sugeruje Musisz rozważyć rozmiar najwyższego obciążenia pracą, a następnie poniesie powiązane koszty.

    Snowflake nie wymaga sprzętu ani oprogramowania Wybrane, zainstalowane, skonfigurowane lub zarządzane, Konfiguracja, konserwacja i wsparcie wewnętrznych serwerów. Pozwala na przechowywanie wszystkich danych w scentralizowanej lokalizacji i rozmiar obliczeń niezależnie. Na przykład, jeśli potrzebujesz czas rzeczywisty Obciążenia danych W przypadku złożonych transformacji, ale masz tylko kilka złożonych zapytań w raportach, możesz skryptować masywny magazyn płatka śniegu do obciążenia danych, a następnie skalować go po nim’S zakończony – Wszystko w czasie rzeczywistym. Zaoszczędzi to znacznej ilości pieniędzy bez zagrożenia celami rozwiązania.

    Kluczowe cechy płatka śniegu

    Niektóre z kluczowych cech płatków śniegu są następujące:

    • Skalowalność: Obliczać I Składowanie Zasoby są oddzielone w płatkach śniegu’ Multi-klaster Udostępniona architektura danych. Ta strategia daje użytkownikom możliwość skalowania zasobów, gdy należy szybko załadować duże ilości danych i zmniejszyć skalę, gdy proces jest zakończony bez zakłócania jakiejkolwiek operacji.
    • Nie wymaga administracji: Umożliwia firmom konfigurowanie rozwiązania i zarządzanie rozwiązaniem bez wymagania szerokiego zaangażowania administratorów bazy danych lub zespołów informatycznych. Nie wymaga instalacji oprogramowania lub uruchomienia sprzętu.
    • Bezpieczeństwo: Snowflake zawiera szeroki zakres funkcji bezpieczeństwa, od sposobu, w jaki użytkownicy uzyskują dostęp do płatków śniegu, po sposób przechowywania danych. Aby ograniczyć dostęp do konta, możesz zarządzać zasadami sieciowymi poprzez białe listy adresów IP. Snowflake obsługuje różne metody uwierzytelniania, w tym Uwierzytelnianie dwuskładnikowe I SSO przez Uwierzytelnianie federacyjne.
    • Obsługa danych częściowo ustrukturyzowanych: Płatek śniegu’architektura S umożliwia przechowywanie Zbudowany I Częściowo ustrukturyzowane dane w tej samej lokalizacji, wykorzystując WARIANT schemat na Czytać typ danych. WARIANT może przechowywać dane ustrukturyzowane, jak i częściowo ustrukturyzowane. Po załadowaniu danych Snowflake automatycznie je analizuje, wyodrębnia z nich atrybuty i przechowuje w formacie kolumnowym.

    Co to jest rurociąg CI/CD?

    Rurociąg CI/CD to zestaw procedur, które należy przestrzegać w celu dostarczenia nowej wersji oprogramowania. Ciągła integracja/ciągła dostawa (CI/CD) Rurociągi to zestaw praktyk mających na celu poprawę dostarczania oprogramowania za pomocą albo Devops lub Inżynieria niezawodności witryny (SRE) zbliżać się. Rurociąg CI/CD zawiera monitorowanie i automatyzację w celu poprawy procesu tworzenia aplikacji, szczególnie podczas Integracja I Testowanie fazy, a także w trakcie Dostawa I Zastosowanie. Chociaż każdy etap rurociągu CI/CD może być wykonany ręcznie, prawdziwa wartość rurociągu CI/CD jest realizowana poprzez automatyzację.

    1. Jaki jest cel rurociągu CI/CD?

    Celem rurociągu CI/CD jest dostarczenie nowej wersji oprogramowania poprzez przestrzeganie zestawu określonych procedur. Ma na celu poprawę dostarczania oprogramowania poprzez korzystanie z automatyzacji i monitorowania podczas integracji, testowania, dostawy i wdrażania procesu tworzenia aplikacji.

    2. W jaki sposób ciągła integracja (CI) pasuje do rurociągu CI/CD?

    Ciągła integracja (CI) to fundamentalna najlepsza praktyka DevOps, w której programiści często łączą zmiany kodu w centralne repozytorium, w którym uruchamiane są automatyczne kompilacje i testy. Zapewnia, że ​​zmiany kodu są płynnie zintegrowane, a wszelkie konflikty lub problemy są zidentyfikowane na początku procesu rozwoju.

    3. Co to jest ciągła dostawa (CD) w rurociągu CI/CD?

    Ciągła dostawa (CD) jest rozszerzeniem ciągłej integracji, w której wszystkie zmiany kodu są automatycznie wdrażane w środowisku testowym i/lub produkcyjnym po etapie kompilacji. Zapewnia, że ​​wszelkie aktualizacje lub ulepszenia oprogramowania są dostarczane do użytkowników efektywnie i konsekwentnie.

    4. Czy każdy etap rurociągu CI/CD może być wykonany ręcznie?

    Tak, każdy etap rurociągu CI/CD można wykonać ręcznie. Jednak prawdziwa wartość rurociągu CI/CD jest realizowana poprzez automatyzację. Ręczne wykonywanie kroków rurociągu może być czasochłonne i podatne na błędy ludzkie, podczas gdy automatyzacja poprawia wydajność i zapewnia spójne wyniki.

    5. Jaka jest kluczowa korzyść z automatyzacji rurociągu CI/CD?

    Kluczową zaletą automatyzacji rurociągu CI/CD jest poprawa wydajności i spójności w dostarczaniu oprogramowania. Automatyzacja zmniejsza ręczny wysiłek i umożliwia programistom skupienie się na kodowaniu, a nie wykonywanie powtarzających się zadań. Zapewnia również, że każda zmiana kodu przechodzi przez ten sam zestaw testów i etapów wdrażania, co skutkuje bardziej niezawodnym i stabilnym oprogramowaniem.

    6. W jaki sposób organizacja może skorzystać z wdrażania rurociągu CI/CD?

    Wdrażając rurociąg CI/CD, organizacje mogą skorzystać z szybszego dostarczania oprogramowania, skrócony czas na rynek, poprawę jakości kodu i zwiększonej wydajności programistów. Umożliwia zespołom częściej iteracji oprogramowania i wydawania oprogramowania, szybko reagowanie na opinie klientów oraz dostarczanie nowych funkcji i aktualizacji przy minimalnym przestoju.

    7. Jakie są warunki budowy rurociągu CI/CD za pomocą Azure Devops i Flyway?

    Wymagania wstępne do budowy rurociągu CI/CD za pomocą Azure DevOps i Flyway obejmują praktyczne wrażenia z GIT, aktywne konto płatków śniegu i aktywne konto usług Azure DevOps.

    8. Jakie są kluczowe cechy płatka śniegu?

    Niektóre kluczowe cechy płatka śniegu obejmują skalowalność, brak wymaganych administracji, silne środki bezpieczeństwa i obsługę danych częściowo ustrukturyzowanych. Oferuje automatyczne skalowanie zasobów obliczeniowych i przechowywania, upraszczając zarządzanie. Snowflake zapewnia również solidne funkcje bezpieczeństwa dostępu do danych i obsługuje przechowywanie danych ustrukturyzowanych i częściowo ustrukturyzowanych.

    9. Czym różni się płatek śniegu od innych magazynów danych?

    Płatka śniegu odróżnia się od innych magazynów danych, oddzielając przetwarzanie od przechowywania. W przeciwieństwie do innych magazynów danych, takich jak Amazon Redshift, które łączą obliczenia i przechowywanie, Snowflake pozwala użytkownikom niezależnie skalować obliczanie i przechowywanie. Ta elastyczność pozwala użytkownikom optymalizować koszty i wydajność na podstawie ich konkretnych wymagań dotyczących obciążenia.

    10. Jakie zalety oferuje płatek śniegu w zakresie obsługi obciążeń danych w czasie rzeczywistym i złożonych zapytań?

    Snowflake zapewnia zalety obsługi obciążeń danych w czasie rzeczywistym i złożonych zapytań poprzez umożliwienie użytkownikom wycofania masywnego magazynu płatków śniegu pod kątem obciążeń danych, a następnie skalowania go po zakończeniu, wszystko w czasie rzeczywistym w czasie rzeczywistym, wszystko w czasie rzeczywistym. Takie podejście oszczędza znaczne koszty, zapewniając jednocześnie efektywne przetwarzanie obciążeń danych w czasie rzeczywistym i złożonych zapytań.

    Pass Data Community Summit

    Rurociąg CI/CD to zestaw procedur, które należy przestrzegać w celu dostarczenia nowej wersji oprogramowania. Ciągła integracja/ciągła dostawa (CI/CD) Rurociągi to zestaw praktyk mających na celu poprawę dostarczania oprogramowania za pomocą albo Devops lub Inżynieria niezawodności witryny (SRE) zbliżać się. Rurociąg CI/CD zawiera monitorowanie i automatyzację w celu poprawy procesu tworzenia aplikacji, szczególnie podczas Integracja I Testowanie fazy, a także w trakcie Dostawa I Zastosowanie. Chociaż każdy etap rurociągu CI/CD może być wykonany ręcznie, prawdziwa wartość rurociągu CI/CD jest realizowana poprzez automatyzację.

    Budowanie Rurociągu CD Snowflake przy użyciu Azure Devops & Flyway Uproszczenie: 4 krytyczne kroki

    Akronimy CI i CD są często stosowane w nowoczesnych praktykach rozwojowych i DevOps. Ciągła integracja (CI) odnosi się do podstawowej najlepszej praktyki DevOps, w której programiści często łączą zmiany kodu w centralne repozytorium, w którym uruchamiane są automatyczne kompilacje i testy. Z drugiej strony, Ciągła dostawa (CD) jest rozszerzeniem ciągłej integracji, ponieważ automatycznie wdraża wszystkie zmiany kodu w środowisku testowym i/lub produkcyjnym po etapie kompilacji.

    Spis treści

    Po całkowitym przejściu tego artykułu uzyskasz przyzwoite zrozumienie płatka śniegu wraz z kluczowymi funkcjami, które oferuje. W tym artykule zawiera również przewodnik krok po kroku, jak zbudować Snowflake CD CD Rurociąg w sposób płynny. Czytaj dalej, aby dowiedzieć się więcej o rurociągach CD Snowflake CD.

    Spis treści

    • Wymagania wstępne
    • Co to jest płatek śniegu?
      • Kluczowe cechy płatka śniegu
      • Krok 1: Utwórz projekt demonstracyjny
      • Krok 2: Skonfiguruj środowisko produkcyjne
      • Krok 3: Utwórz grupę zmiennych biblioteki
      • Krok 4: Utwórz i uruchom rurociąg wdrażania płatków śniegu CI

      Wymagania wstępne

      • Praktyczne doświadczenie z git.
      • Aktywne konto płatka śniegu.
      • Aktywne konto usług Azure DevOps.

      Co to jest płatek śniegu?

      Snowflake jest jednym z najpopularniejszych Warehouse danych w chmurze To oferuje mnóstwo funkcji bez narażania prostoty. Skaluje automatycznie, zarówno w górę, jak iw dół, aby zaoferować to, co najlepsze Wydajność do kosztów stosunek. Odróżniającą cechą płatka śniegu jest to, że się oddziela Przetwarzanie danych z Składowanie. Jest to znaczące, ponieważ prawie każda inna magazyn danych, w tym Amazon Redshift, łączy te dwa, co sugeruje Musisz rozważyć rozmiar najwyższego obciążenia pracą, a następnie poniesie powiązane koszty.

      Snowflake nie wymaga sprzętu ani oprogramowania Wybrane, zainstalowane, skonfigurowane lub zarządzane, czyniąc go idealnym dla organizacji, które nie chcą poświęcać zasobów na rzecz Konfiguracja, konserwacja i wsparcie wewnętrznych serwerów. Pozwala na przechowywanie wszystkich danych w scentralizowanej lokalizacji i rozmiar obliczeń niezależnie. Na przykład, jeśli potrzebujesz czas rzeczywisty Obciążenia danych W przypadku złożonych transformacji, ale masz tylko kilka złożonych zapytań w raportach, możesz skryptować masywny magazyn płatka śniegu do obciążenia danych, a następnie skalować go po nim’S zakończony – Wszystko w czasie rzeczywistym. Zaoszczędzi to znacznej ilości pieniędzy bez zagrożenia celami rozwiązania.

      Kluczowe cechy płatka śniegu

      Niektóre z kluczowych cech płatków śniegu są następujące:

      • Skalowalność: Obliczać I Składowanie Zasoby są oddzielone w płatkach śniegu’ Multi-klaster Udostępniona architektura danych. Ta strategia daje użytkownikom możliwość skalowania zasobów, gdy należy szybko załadować duże ilości danych i zmniejszyć skalę, gdy proces jest zakończony bez zakłócania jakiejkolwiek operacji.
      • Nie wymaga administracji: Umożliwia firmom konfigurowanie rozwiązania i zarządzanie rozwiązaniem bez wymagania szerokiego zaangażowania administratorów bazy danych lub zespołów informatycznych. Nie wymaga instalacji oprogramowania lub uruchomienia sprzętu.
      • Bezpieczeństwo: Snowflake zawiera szeroki zakres funkcji bezpieczeństwa, od sposobu, w jaki użytkownicy uzyskują dostęp do płatków śniegu, po sposób przechowywania danych. Aby ograniczyć dostęp do konta, możesz zarządzać zasadami sieciowymi poprzez białe listy adresów IP. Snowflake obsługuje różne metody uwierzytelniania, w tym Uwierzytelnianie dwuskładnikowe I SSO przez Uwierzytelnianie federacyjne.
      • Obsługa danych częściowo ustrukturyzowanych: Płatek śniegu’architektura S umożliwia przechowywanie Zbudowany I Częściowo ustrukturyzowane dane w tej samej lokalizacji, wykorzystując WARIANT schemat na Czytać typ danych. WARIANT może przechowywać dane ustrukturyzowane, jak i częściowo ustrukturyzowane. Po załadowaniu danych Snowflake automatycznie je analizuje, wyodrębnia z nich atrybuty i przechowuje w formacie kolumnowym.

      Co to jest rurociąg CI/CD?

      Rurociąg CI/CD to zestaw procedur, które należy przestrzegać w celu dostarczenia nowej wersji oprogramowania. Ciągła integracja/ciągła dostawa (CI/CD) Rurociągi to zestaw praktyk mających na celu poprawę dostarczania oprogramowania za pomocą albo Devops lub Inżynieria niezawodności witryny (SRE) zbliżać się. Rurociąg CI/CD zawiera monitorowanie i automatyzację w celu poprawy procesu tworzenia aplikacji, szczególnie podczas Integracja Testowanie fazy, a także w trakcie Dostawa I Zastosowanie. Chociaż każdy etap rurociągu CI/CD może być wykonany ręcznie, prawdziwa wartość rurociągu CI/CD jest realizowana poprzez automatyzację.

      Wiele zespołów programistycznych jest rozproszonych geograficznie lub izolowanych, ale ciągła integracja (CI) umożliwia szybki rozwój, unikając jednocześnie Scalanie konfliktów, błędów i powielania. Ciągła integracja zawsze jest aktualna główna gałąź, ale może również pozwolić na krótkoterminowe odizolowane oddziały lub cechy dla drobnych zmian, które ostatecznie można połączyć w gałęzie głównej.

      Ciągła dostawa umożliwia szybkie, przyrostowe rozwój i umożliwia zespołom programistów na budowę i uwalnianie oprogramowania w dowolnym momencie. Pomaga także zespołom DevOps w obniżaniu kosztów i zwiększeniu prędkości, z jaką wdrażane są nowe wydania. Ciągłe dostarczanie wymaga wysoce powtarzalnej struktury i jest często uważana za rozszerzenie ciągłej integracji. W dalszej części tego artykułu dowiesz się, jak zbudować Rurociąg CD Snowflake.

      Co to jest Azure Devops?

      Azure Devops to Oprogramowanie jako usługa (SaaS) Platforma oferowana przez Microsoft, która zapewnia kompleksowy narzędzia DevOps do opracowywania i wdrażania oprogramowania. Integruje się również z większością rynku’S narzędzia wiodące i jest doskonałym wyborem do zorganizowania narzędzi DevOps. Azure DevOps oferuje usługi programistów, które umożliwiają zespołom planowanie pracy, współpracę w zakresie opracowywania kodu oraz budowanie i wdrażanie aplikacji. Azure Devops sprzyja kulturze i zestawowi procedur, które łączą programistów, menedżerów projektów i współpracowników do współpracy w zakresie tworzenia oprogramowania. Umożliwia organizacjom tworzenie i ulepszanie produktów w znacznie szybszym tempie, niż pozwalają na to tradycyjne podejścia do tworzenia oprogramowania.

      Co to jest Flyway?

      Flyway to Otwarte źródło narzędzie licencjonowane pod Licencja Apache 2.0 To umożliwia użytkownikom zautomatyzowane i oparte na wersji Migracje bazy danych. Umożliwia zdefiniowanie niezbędnych operacji aktualizacji w Skrypt SQL Lub Kod Java. Możesz uruchomić migrację bazy danych z klienta wiersza poleceń, w ramach procesu kompilacji lub jako część aplikacji Java.

      Kluczową zaletą tego procesu jest to, że Flyway wykrywa i wykonuje niezbędne operacje aktualizacji. W rezultacie nie’T musi wiedzieć, które instrukcje aktualizacji SQL muszą zostać wykonane w celu aktualizacji bieżącej bazy danych. Ty i twoi współpracownicy możesz po prostu zdefiniować operacje aktualizacji, które zostaną użyte do migracji bazy danych z jednej wersji do następnej i Flyway, wykryje bieżącą wersję i wykonasz niezbędne operacje aktualizacji, aby zaktualizować bazę danych.

      Niezawodnie INtegrate DAta z Hevo’s W pełni zautomatyzowany brak rurociągu danych

      Jeśli twoje coś takiego jak 1000 firm opartych na danych, które korzystają z HEVO, ponad 70% używanych aplikacji to aplikacje SaaS. W odpowiednim czasie integracja danych z tych źródeł ma kluczowe znaczenie dla analizy paliwowej i podejmowanych z nich decyzji. Ale biorąc pod uwagę, jak szybkie punkty końcowe API itp. Mogą się zmienić, tworzenie i zarządzanie tymi rurociągami może być ćwiczeniem ssania duszy.
      Hevo’S Platforma rurociągu bez kodu pozwala podłączyć ponad 150 źródeł w ciągu kilku minut, aby dostarczyć dane w czasie rzeczywistym do magazynu, takie jak Płatek śniegu. Co’S WIĘCEJ, wbudowane możliwości transformacji i intuicyjny interfejs użytkownika oznacza, że ​​nawet nie-inżynierowie mogą konfigurować rurociągi i osiągnąć dane gotowe do analizy w ciągu kilku minut.

      Wszystko to w połączeniu z przezroczystymi cenami i obsługą 24 × 7 czyni nas najbardziej lubianym oprogramowaniem do rurociągów danych pod względem recenzji użytkowników.

      Weź nasz 14-dniowy bezpłatny proces, aby uzyskać lepszy sposób zarządzania rurociągami danych.

      Jak zbudować rurociąg CI/CD za pomocą Azure Devops i Flyway?

      Budowanie rurociągu CI z płatkiem śniegu jest ogólnie 4-etapowym procesem. Postępuj zgodnie z poniższymi krokami, aby uruchomić i głęboko przepływ płatka śniegu CI CD:

      Krok 1: Utwórz projekt demonstracyjny

      Pierwszy krok związany z budowaniem rurociągu CI Snowflake CD wymaga utworzenia projektu demo Azure DevOps. Wykonaj kroki podane poniżej, aby to zrobić:

      • Utwórz bazy danych i użytkownika, wykorzystując następujący skrypt:

      -- Utwórz bazy danych Utwórz bazę danych flyway_demo comment = „Azure DevOps Test wdrażania”; Utwórz bazę danych Flyway_Demo_Dev Comment = „Azure DevOps Test wdrażania”; Utwórz bazę danych flyway_demo_qa comment = „Azure DevOps Test wdrażania”; - Utwórz użytkownika wdrożeni Utwórz użytkownika devopsuser hasło = '' default_Role = sysAdmin;

      • Zaloguj się na swoje konto Azure DevOps, korzystając z odpowiednich poświadczeń.
      • Wybierz Organizacja i kliknij niebieski kolor +Nowy projekt przycisk.

      Snowflake CI CD: Tworzenie nowego projektu | Dane HEVO

      • Podaj unikalną i zwięzłą nazwę swojego projektu. Możesz także dodać do niego opis. Pozwalać’S Nazwij projekt jako Snowflake_flyway ze względu na ten samouczek.
      • Teraz wybierz Widoczność opcja dla twojego projektu i kliknij Tworzyć przycisk.

      Snowflake CI: Projekt Azure DevOps | Dane HEVO

      Krok 2: Skonfiguruj środowisko produkcyjne

      Musisz mieć środowisko, aby dodać krok zatwierdzenia. Postępuj zgodnie z poniższymi krokami, aby utworzyć niezbędne środowiska i zatwierdzenia:

      • Wróć na stronę główną Azure DevOps.
      • Przejdź do lewego paska nawigacyjnego i kliknij Środowiska opcja.
      • Podaj unikalną nazwę środowisku produkcyjnym i kliknij Tworzyć przycisk.

      Snowflake CI CD: Środowisko produkcyjne | Dane HEVO

      • Aby stworzyć zatwierdzenie środowiska produkcyjnego, kliknij trzy pionowe kropki znajdujące się obok Dodaj zasób przycisk.
      • Kliknij na Zatwierdzenia i czeki opcja dodania listy zatwierdzających.

      Snowflake CI CD: Dodanie zasobów | Dane HEVO

      Krok 3: Utwórz grupę zmiennych biblioteki

      Gdy masz zestaw zmiennych, które będą używane w wielu rurociągach, możesz utworzyć grupę zmienną i odwołać się do wielu grup. Biblioteki służą do bezpiecznego przechowywania zmiennych i plików, które będą używane w rurociągu CI CD CI. Postępuj zgodnie z poniższymi krokami, aby utworzyć grupę zmienną biblioteki:

      Snowflake CI: Tworzenie grupy zmiennej | Dane HEVO

      • W lewym pasku nawigacyjnym kliknij Biblioteka obecne pod Rurociągi opcja.
      • Na Biblioteka strona, przejdź do Grupy zmienne patka.
      • Kliknij na +Grupa zmienna przycisk, aby utworzyć nową grupę zmiennych biblioteki.
      • Podaj grupę unikalną nazwę i dodaj do niej następujące zmienne.

      Snowflake_jdbc_url = jdbc: snowflake: // snowflake_account_name =..Snowflakecomputing.com snowflake_warehouse = snowflake_rolename = sysadmin snowflake_devops_username = # oznacz jako tajny typ zmiennej snowflake_devops_secret = snowflake_authenticator = snowflake

      Snowflake CI: Grupa zmiennych biblioteki | Dane HEVO

      • Po pomyślnym dodaniu wszystkich zmiennych nie zapomnij kliknąć Ratować przycisk po prawej stronie grupy zmiennej’S S Nazwa. Tak wyglądałaby twoja grupa zmienna:

      Krok 4: Utwórz i uruchom rurociąg wdrażania płatków śniegu CI

      Teraz, aby utworzyć rurociąg CI Snowflake, wykonaj kroki podane poniżej:

      • W lewym pasku nawigacyjnym kliknij Rurociągi opcja.
      • Jeśli tworzysz rurociąg po raz pierwszy, kliknij Utwórz rurociąg przycisk. W przypadku, gdy masz już zdefiniowany kolejny rurociąg, a następnie kliknij Nowy rurociąg przycisk.
      • Na Łączyć Tab, wybierz Azure Repos Git opcja i wybierz żądane repozytorium (Snowflake_flyway) Na następnym ekranie.

      Snowflake CI CD: Azure Repos Git | Dane HEVO

      • Na Skonfiguruj rurociąg strona, wybierz Rurociąg startowy opcja.

      Snowflake CI CD: Konfigurowanie rurociągu CD Snowflake CD | Dane HEVO

      • Na koniec wklej następujący kawałek kodu do Przejrzyj swój ostateczny YAML strona.

      Zmienne: - Grupa: płatek śniegu.Baza danych - Nazwa: DBName Wartość: Flyway_demo - Nazwa: FlywayArtifactName Wartość: DataBaseartifacts - Nazwa: FlywayVMImage Wartość: „Ubuntu -16.04 ' - Nazwa: FlywayContainerImage Wartość: „Kulmam92/Flyway -Azure: 6.2.3 'Trigger: - Etapy główne: - Etap: Zmienne kompilacji: - Nazwa: DBName_postfix Wartość: _DEV Zadania: - Szablon: Szablony/SnowflakeFlywayBuild.YML Parametry: JobName: „BuildDataBase” nazwa danych: $ (dbname) DataBasePostfix: $ (dbname_postfix) ArtifactName: $ (FlywayArtifactName) vmimage: $ (FlywayVmimage) Containimage: $ (flywayCaineRimage) - scena: scenables: - nazwa: - nazwa DBName_postev Zadania: - Szablon: Szablony/SnowflakeflywayDeloploy.YML Parametry: JobName: DevAbasename: $ (dbname) DatAbasepostfix: $ (dbname_postfix) ArtiFactName: $ (FlywayArtifactName) vmimage: $ (FlywayVMImage) ContainerImage: $ (FlywaywayContainerImage) środowisko: dev - scena: qa: - nazwa: DBName_postey_poste) Zadania: - Szablon: Szablony/SnowflakeflywayDeloploy.YML Parametry: JobName: QA DataBasename: $ (dbname) DatAbasepostfix: $ (dbname_postfix) ArtiFactName: $ (FlywayArtifactName) vmimage: $ (FlywayVMImage) Containerimage: $ (FlywayeCainerImage) środowisko: qa - scena: - nazwa: Pusty ciąg do zadania Prod: - Szablon: Szablony/SnowflakeFlyWayDeDploy.Parametry YML: nazwa zadania: Prodabasename: $ (dbname) Databasepostfix: $ (dbname_postfix) ArtiFactName: $ (FlywayArtifactName) VMIMAGE: $ (FlywayVMImage) Containerimage: $ (FlywayContainerImage) środowisko: PROM

      Snowflake CI: Zapisz i uruchom rurociąg | Dane HEVO

      • Po pomyślnym dodaniu kodu do edytora kliknij Zapisz i biegnij przycisk.

      Po wykonaniu wszystkich kroków wyjaśnionych powyżej we właściwej sekwencji będziesz mógł zbudować od zera rurociąg CI Snowflake CD!

      Wniosek

      Ten blog wprowadził Cię do płatków śniegu wraz z oferowanymi przez niego istotnymi funkcjami. Ponadto wprowadził cię do kroków wymaganych do zbudowania Snowflake CD CD Rurociąg od zera za pomocą Azure Devops i Flyway.

      Gdy Twoja firma zaczyna się rozwijać, dane są generowane według stawki wykładniczej w całej Twojej firmie’aplikacje S SAAS, bazy danych i inne źródła. Aby zaspokoić te rosnące potrzeby dotyczące przechowywania i obliczeń danych, musisz zainwestować część przepustowości inżynierii, aby zintegrować dane ze wszystkich źródeł, wyczyścić i przekształcić je, a także załadować do hurtowni danych w chmurze, takim jak Płatek śniegu Do dalszych analiz biznesowych. Wszystkie te wyzwania mogą być skutecznie obsługiwane przez Narzędzie ETL oparte na chmurze, takie jak dane HEVO.

      HEVO DANE, PUREL DATA BOK CODE zapewnia spójne i niezawodne rozwiązanie do zarządzania transferem danych między różnymi źródłami i szeroką gamą pożądanych miejsc, takich jak Płatek śniegu, za pomocą kilku kliknięć. Dane HEVO z silną integracją ze 100+ źródłami (w tym ponad 40 darmowych źródeł) pozwala nie tylko eksportować dane z pożądanych źródeł danych i ładować je do wybranego miejsca docelowego, ale także przekształcić i wzbogacić swoje dane, aby je było gotowe, abyś mógł skupić się na kluczowych potrzebach biznesowych i przeprowadzić wnikliwą analizę przy użyciu BI Tools.

      Chcesz wziąć Hevo na spin? Zarejestruj się tutaj, aby uzyskać 14-dniowy bezpłatny proces I doświadcz bogatej w funkcje Hevo Suite z pierwszej ręki. Możesz także rzucić okiem na nasze niezrównane ceny, które pomogą Ci wybrać odpowiedni plan potrzeb biznesowych!

      Podziel się swoimi doświadczeniami z budowania Rurociąg CD Snowflake w komentarzach poniżej!

      Płatek śniegu

      Poziom wsparcia określa stopień wsparcia dostępnego dla tej bazy danych (dowiedz się więcej).

      Kierowcy

      Format URL JDBC: Snowflake: //konto.Snowflakecomputing.com/?db =Baza danychi magazyn =magazyni rola =rola (Opcjonalnie i schemat =schemat Aby określić bieżący schemat)
      Wysy z linią poleceń Flyway Tak
      Maven Central Współrzędne internet.Snowflake: Snowflake-jdbc: 3.6.23
      Obsługiwane wersje 3.6.23 i później
      Domyślna klasa Java internet.płatek śniegu.klient.JDBC.Snowfakedriver

      Składnia skryptu SQL

      • Standardowa składnia SQL z delimiter instrukcji ;

      Zgodność

      • DDL eksportowane przez GUI Web Snowflake może być używane niezmienione w migracji Flyway
      • Każdy skrypt SQL wykonany przez Flyway, może zostać wykonany przez GUI Web Snowflake (po wymianie symboli zastępczych)
      • Kierowca płatka śniegu wymaga Java 8+. Nie ma wsparcia ze strony Snowflake dla użytkowników Java 7.

      Przykład

      / * Komentarz pojedynczy linia */ Utwórz tabelę test_data (wartość varchar (25) nie zerowa podstawowa); / * Komentarz wieloletni */-komentarz w stylu SQL-wstawka zastępcza do wartości $ (nazwa) („Mr. T');

      Uwierzytelnianie oparte na kluczu

      Snowflake JDBC obsługuje uwierzytelnianie oparte na kluczu. Aby to użyć, musisz:

      • Upewnij się, że używasz co najmniej v3.11 Snowflake JDBC Driver (Flyway obecnie wysyła z tą wersją)
      • Wygeneruj parę klucza publicznego/prywatnego
      • Przypisz klucz publiczny do odpowiedniego konta użytkownika Snowflake za pomocą użytkownika alter – Aby uzyskać pełne instrukcje dotyczące tych kroków, patrz Snowflake’S dokumentacja

      Na koniec zmień swój ciąg połączenia JDBC z dodatkowymi parametrami, aby włączyć autorytet oparty na kluczu i odwołać się do lokalizacji klucza prywatnego: Authenticator = Snowflake_jwt & private_key_file = .

      Ograniczenia

      • Równoległe migracje zgodnie z opisem są niedostępne w płatku śniegu. Możesz śledzić status tej funkcji w naszych problemach GitHub tutaj.

      Integracja Flyway z git i łączenie się z płatkiem śniegu

      Mamy istniejącą bazę danych z kilkoma tabelami i za każdym razem, gdy wprowadzamy wszelkie zmiany w schemacie jakiejś tabeli, musieliśmy uruchomić niektóre ręczne skrypty, aby uniknąć utraty danych. Szukamy oprogramowania, które może zintegrować się z naszym repozytorium GIT i generować zaktualizowane DDL dla bazy danych. Natknąłem się na narzędzie migracyjne bazy danych Flyway i przechodząc przez dokumentację, miało to pytanie o integrację z kodem repozytor. Flyway pracuje również ze śniegiem. Jeśli tak, gdzie mogę dodać wymagane sterowniki JDBC, aby połączyć się z bazą danych i co byłoby .Plik CONF do połączenia płatków śniegu.

      zapytał 22 lutego 2019 o 20:12

      67 4 4 Srebrne odznaki 18 18 brązowe odznaki

      3 Answers 3

      Oficjalnie Flyway w tej chwili nie współpracuje ze śniegiem (jak widać tam https: // github.com/Flyway/Flyway/Pull/2274). Zgodnie z tą dyskusją wydaje się, że istnieje widelec kompatybilny z płatkiem śniegu, jednak nie zalecałbym tego w systemie produkcyjnym, nie sprawdzając go, ale jeśli naprawdę potrzebujesz, warto rzucić okiem.

      Jeśli chodzi o integrację Flyway z GIT, możesz zintegrować Flyway w procesie CI, ciągnąc obraz Flyway Docker (https: // github.com/Flyway/Flyway -Docker) – lub używając własnego obrazu, jeśli zdecydujesz się wybrać widelec kompatybilny z płatkiem śniegu – i uruchomić polecenie migracyjne przeciwko docelowej bazie danych (.

      odpowiedział 12 marca 2019 o 16:02

      11 1 1 Srebrna odznaka 2 2 brązowe odznaki

      Dziękuję za odpowiedź. Kompatybilność Flyway z innymi bazami danych jest dobra. Patrzymy na opcje. Nie mogę się doczekać, aby dodać opcję płatka śniegu

      13 marca 2019 o 5:55

      Nie jestem osobą pracującą nad tą prośbą o ściąganie niestety 🙂 Ale mój zespół działał dokładnie w tym samym problemie. !

      Płatek śniegu

      Poziom wsparcia określa stopień wsparcia dostępnego dla tej bazy danych (dowiedz się więcej).

      Kierowcy

      Format URL JDBC: Snowflake: //konto.Snowflakecomputing.com/?db =Baza danychi magazyn =magazyni rola =rola (Opcjonalnie i schemat =schemat Aby określić bieżący schemat)
      Wysy z linią poleceń Flyway Tak
      Maven Central Współrzędne internet.Snowflake: Snowflake-JDBC
      Obsługiwane wersje 3.6.23 i później
      Domyślna klasa Java internet.płatek śniegu.klient.JDBC.Snowfakedriver

      Składnia skryptu SQL

      • Standardowa składnia SQL z delimiter instrukcji ;

      Zgodność

      • DDL eksportowane przez GUI Web Snowflake może być używane niezmienione w migracji Flyway
      • Każdy skrypt SQL wykonany przez Flyway, może zostać wykonany przez GUI Web Snowflake (po wymianie symboli zastępczych)
      • Kierowca płatka śniegu wymaga Java 8+. Nie ma wsparcia ze strony Snowflake dla użytkowników Java 7.

      Przykład

      / * Komentarz pojedynczy linia */ Utwórz tabelę test_data (wartość varchar (25) nie zerowa podstawowa); / * Komentarz wieloletni */-komentarz w stylu SQL-wstawka zastępcza do wartości $ (nazwa) („Mr. T');

      Uwierzytelnianie oparte na kluczu

      Snowflake JDBC obsługuje uwierzytelnianie oparte na kluczu. Aby to użyć, musisz:

      • Upewnij się, że używasz co najmniej v3.11 Snowflake JDBC Driver (Flyway obecnie wysyła z tą wersją)
      • Wygeneruj parę klucza publicznego/prywatnego
      • Przypisz klucz publiczny do odpowiedniego konta użytkownika Snowflake za pomocą użytkownika alter – Aby uzyskać pełne instrukcje dotyczące tych kroków, patrz dokumentacja Snowflake

      Na koniec zmień swój ciąg połączenia JDBC z dodatkowymi parametrami, aby włączyć autorytet oparty na kluczu i odwołać się do lokalizacji klucza prywatnego: Authenticator = Snowflake_jwt & private_key_file = .

      Ograniczenia

      • Równoległe migracje zgodnie z opisem są niedostępne w płatku śniegu. Możesz śledzić status tej funkcji w naszych problemach GitHub tutaj.
      • Użytkownicy korzystający z Java 16 lub nowszy, który obejmuje JRE wysłany w wierszu poleceń Java, będą musieli dodać następujący argument JVM do java_args-addd-otwarty java.baza/java.Lang = All-Unnamed . Można to dokonać za pomocą linii poleceń lub środowiska. Jest to spowodowane zmianą w środowisku wykonawczym Java 16, co powoduje błąd w sterowniku JDBC Snowflake.

      Nie znalazłem tego, czego szukałeś?

      • Odwiedź forum Redgate
      • Kontakt z obsługą