Passe a Cúpula da Comunidade de Dados

Um pipeline de CI/CD é um conjunto de procedimentos que devem ser seguidos para entregar uma nova versão do software. Integração contínua/entrega contínua (CI/CD) Os pipelines são um conjunto de práticas destinadas a melhorar a entrega de software através do uso de um DevOps ou a Engenharia de Confiabilidade do Site (SRE) abordagem. Um pipeline de CI/CD incorpora monitoramento e automação para melhorar o processo de desenvolvimento de aplicativos, particularmente durante o Integração e Teste fases, bem como durante Entrega e Implantação. Embora cada etapa de um pipeline de CI/CD possa ser realizada manualmente, o valor verdadeiro de um pipeline de CI/CD é realizado através da automação.

CONSTRUIR SNOWFLAKE CI CD Pipeline usando o Azure DevOps & Flyway simplificado: 4 etapas críticas

Os acrônimos IC e CD são frequentemente usados ​​em práticas de desenvolvimento modernas e DevOps. Integração contínua (IC) refere -se a uma melhor prática fundamental do DevOps, na qual os desenvolvedores frequentemente mesciam mudanças de código em um repositório central, onde as construções e testes automatizados são executados. Por outro lado, Entrega contínua (CD) é uma extensão da integração contínua, pois implanta automaticamente todas as alterações de código no ambiente de teste e/ou produção após o estágio de construção.

Índice

Após uma explicação completa deste artigo, você obterá um entendimento decente do floco de neve, juntamente com os principais recursos que ele oferece. Este artigo também fornecerá um guia passo a passo sobre como construir um CD do Snowflake CI Oleoduto de maneira perfeita. Leia para saber mais sobre os pipelines de cd de floco de neve.

Índice

  • Pré -requisitos
  • O que é floco de neve?
    • Principais características do Snowflake
    • Etapa 1: Crie um projeto de demonstração
    • Etapa 2: Configure o ambiente de produção
    • Etapa 3: Crie um grupo variável da biblioteca
    • Etapa 4: Crie e execute um pipeline de implantação de CD de floco de neve CI

    Pré -requisitos

    • Experiência prática com git.
    • Uma conta ativa de floco de neve.
    • Uma conta ativa do Azure DevOps Services.

    O que é floco de neve?

    Snowflake é um dos mais populares Warehouses de dados em nuvem que oferece uma infinidade de recursos sem comprometer a simplicidade. Ele escala automaticamente, para cima e para baixo, para oferecer o melhor Desempenho para custo razão. A característica distintiva do floco de neve é ​​que ele separa Informática de Armazenar. Isso é significativo como quase todos os outros data warehouse, incluindo o Amazon Redshift, combina os dois, implicando que você deve considerar o tamanho da sua carga de trabalho mais alta e depois incorra nos custos associados a ela.

    Snowflake não requer hardware ou software para ser Escolhido, instalado, configurado ou gerenciado, tornando -o ideal para organizações que não desejam dedicar recursos ao Configuração, manutenção e suporte de servidores internos. Ele permite que você armazene todos os seus dados em um local centralizado e dimensione sua computação de forma independente. Por exemplo, se você precisar tempo real Carregos de dados Para transformações complexas, mas possui apenas algumas consultas complexas em seus relatórios, você pode escrever um enorme armazém de floco de neve para a carga de dados e depois reduzi -lo’está terminado – tudo em tempo real. Isso economizará uma quantia significativa de dinheiro sem prejudicar seus objetivos de solução.

    Principais características do Snowflake

    Algumas das principais características do Snowflake são as seguintes:

    • Escalabilidade: O Calcular e Armazenar Os recursos são separados em flocos de neve’ Multi-cluster Arquitetura de dados compartilhados. Essa estratégia oferece aos usuários a capacidade de ampliar recursos quando grandes quantidades de dados precisam ser carregadas rapidamente e reduzem quando o processo estiver completo sem interromper qualquer tipo de operação.
    • Nenhuma administração necessária: Ele permite que as empresas configurem e gerenciem uma solução sem exigir um amplo envolvimento de administradores de banco de dados ou equipes de TI. Não requer a instalação do software ou o comissionamento de hardware.
    • Segurança: Snowflake abriga uma ampla gama de recursos de segurança, de como os usuários acessam o floco de neve até a forma como os dados são armazenados. Para restringir o acesso à sua conta, você pode gerenciar políticas de rede com endereços IP na lista de permissões. Snowflake suporta uma variedade de métodos de autenticação, incluindo Autenticação de dois fatores e Sso através da Autenticação federada.
    • Suporte para dados semiestruturados: Floco de neve’s arquitetura permite o armazenamento de Estruturada e Semi-estruturado dados no mesmo local, utilizando o VARIANTE Esquema no Ler tipo de dados. VARIANTE pode armazenar dados estruturados e semiestruturados. Depois que os dados são carregados, o Snowflake o analisa automaticamente, extrai os atributos e o armazena em um formato colunar.

    O que é um pipeline CI/CD?

    Um pipeline de CI/CD é um conjunto de procedimentos que devem ser seguidos para entregar uma nova versão do software. Integração contínua/entrega contínua (CI/CD) Os pipelines são um conjunto de práticas destinadas a melhorar a entrega de software através do uso de um DevOps ou a Engenharia de Confiabilidade do Site (SRE) abordagem. Um pipeline de CI/CD incorpora monitoramento e automação para melhorar o processo de desenvolvimento de aplicativos, particularmente durante o Integração e Teste fases, bem como durante Entrega e Implantação. Embora cada etapa de um pipeline de CI/CD possa ser realizada manualmente, o valor verdadeiro de um pipeline de CI/CD é realizado através da automação.

    1. Qual é o objetivo de um pipeline de CI/CD?

    O objetivo de um pipeline de CI/CD é fornecer uma nova versão do software seguindo um conjunto de procedimentos definidos. Ele visa melhorar a entrega de software através do uso de automação e monitoramento durante as fases de integração, teste, entrega e implantação do processo de desenvolvimento de aplicativos.

    2. Como a integração contínua (IC) se encaixa em um pipeline CI/CD?

    A integração contínua (IC) é uma melhor prática fundamental do DevOps, onde os desenvolvedores freqüentemente mesciam mudanças de código em um repositório central, onde as construções e testes automatizados são executados. Ele garante que as alterações do código sejam integradas sem problemas e quaisquer conflitos ou questões sejam identificados no início do processo de desenvolvimento.

    3. O que é entrega contínua (CD) em um pipeline CI/CD?

    Entrega contínua (CD) é uma extensão da integração contínua, onde todas as alterações de código são implantadas automaticamente no ambiente de teste e/ou produção após o estágio de construção. Ele garante que quaisquer atualizações ou melhorias no software sejam entregues aos usuários de maneira eficiente e consistente.

    4. Cada etapa de um pipeline de CI/CD pode ser realizado manualmente?

    Sim, cada etapa de um pipeline CI/CD pode ser executada manualmente. No entanto, o verdadeiro valor de um pipeline de CI/CD é realizado através da automação. A execução manual das etapas do pipeline pode ser demorada e propensa a erros humanos, enquanto a automação melhora a eficiência e garante resultados consistentes.

    5. Qual é o principal benefício de automatizar um pipeline CI/CD?

    O principal benefício de automatizar um pipeline de CI/CD é a melhor eficiência e a consistência na entrega de software. A automação reduz o esforço manual e permite que os desenvolvedores se concentrem na codificação, em vez de executar tarefas repetitivas. Ele também garante que cada mudança de código passe pelo mesmo conjunto de testes e etapas de implantação, resultando em software mais confiável e estável.

    6. Como uma organização pode se beneficiar da implementação de um pipeline de CI/CD?

    Ao implementar um pipeline de CI/CD, as organizações podem se beneficiar de uma entrega mais rápida de software, tempo reduzido para mercado, melhor qualidade de código e maior produtividade do desenvolvedor. Permite.

    7. Quais são os pré -requisitos para a construção de um pipeline de floco de neve/cd usando o Azure DevOps e a Flyway?

    Os pré-requisitos para a construção de um pipeline de floco de neve/cd usando o Azure DevOps e Flyway incluem experiência prática com o Git, uma conta ativa de floco de neve e uma conta ativa do Azure DevOps Services.

    8. Quais são as principais características do floco de neve?

    Algumas características principais do floco de neve incluem escalabilidade, nenhuma administração necessária, fortes medidas de segurança e suporte para dados semiestruturados. Oferece escala automática de recursos de computação e armazenamento, simplificando o gerenciamento. Snowflake também fornece recursos de segurança robustos para acesso a dados e suporta o armazenamento de dados estruturados e semi-estruturados.

    9. Como os floco de neve diferem de outros data warehouses?

    Snowflake se diferencia de outros data warehouses, separando a computação do armazenamento. Ao contrário de outros armazéns de dados, como o Amazon Redshift, que combinam computação e armazenamento, o Snowflake permite que os usuários escalem e armazenem independentemente. Essa flexibilidade permite que os usuários otimizem custos e desempenho com base em seus requisitos específicos de carga de trabalho.

    10. Que vantagens o Snowflake oferece para lidar com cargas de dados em tempo real e consultas complexas?

    O Snowflake oferece vantagens para lidar com cargas de dados em tempo real e consultas complexas, permitindo que os usuários scriger um armazém enorme de floco de neve para cargas de dados e depois reduzi-lo após a conclusão, tudo em tempo real. Essa abordagem economiza custos significativos, garantindo processamento eficiente de cargas de dados em tempo real e consultas complexas.

    Passe a Cúpula da Comunidade de Dados

    Um pipeline de CI/CD é um conjunto de procedimentos que devem ser seguidos para entregar uma nova versão do software. Integração contínua/entrega contínua (CI/CD) Os pipelines são um conjunto de práticas destinadas a melhorar a entrega de software através do uso de um DevOps ou a Engenharia de Confiabilidade do Site (SRE) abordagem. Um pipeline de CI/CD incorpora monitoramento e automação para melhorar o processo de desenvolvimento de aplicativos, particularmente durante o Integração e Teste fases, bem como durante Entrega e Implantação. Embora cada etapa de um pipeline de CI/CD possa ser realizada manualmente, o valor verdadeiro de um pipeline de CI/CD é realizado através da automação.

    CONSTRUIR SNOWFLAKE CI CD Pipeline usando o Azure DevOps & Flyway simplificado: 4 etapas críticas

    Os acrônimos IC e CD são frequentemente usados ​​em práticas de desenvolvimento modernas e DevOps. Integração contínua (IC) refere -se a uma melhor prática fundamental do DevOps, na qual os desenvolvedores frequentemente mesciam mudanças de código em um repositório central, onde as construções e testes automatizados são executados. Por outro lado, Entrega contínua (CD) é uma extensão da integração contínua, pois implanta automaticamente todas as alterações de código no ambiente de teste e/ou produção após o estágio de construção.

    Índice

    Após uma explicação completa deste artigo, você obterá um entendimento decente do floco de neve, juntamente com os principais recursos que ele oferece. Este artigo também fornecerá um guia passo a passo sobre como construir um CD do Snowflake CI Oleoduto de maneira perfeita. Leia para saber mais sobre os pipelines de cd de floco de neve.

    Índice

    • Pré -requisitos
    • O que é floco de neve?
      • Principais características do Snowflake
      • Etapa 1: Crie um projeto de demonstração
      • Etapa 2: Configure o ambiente de produção
      • Etapa 3: Crie um grupo variável da biblioteca
      • Etapa 4: Crie e execute um pipeline de implantação de CD de floco de neve CI

      Pré -requisitos

      • Experiência prática com git.
      • Uma conta ativa de floco de neve.
      • Uma conta ativa do Azure DevOps Services.

      O que é floco de neve?

      Snowflake é um dos mais populares Warehouses de dados em nuvem que oferece uma infinidade de recursos sem comprometer a simplicidade. Ele escala automaticamente, para cima e para baixo, para oferecer o melhor Desempenho para custo razão. A característica distintiva do floco de neve é ​​que ele separa Informática de Armazenar. Isso é significativo como quase todos os outros data warehouse, incluindo o Amazon Redshift, combina os dois, implicando que você deve considerar o tamanho da sua carga de trabalho mais alta e depois incorra nos custos associados a ela.

      Snowflake não requer hardware ou software para ser Escolhido, instalado, configurado ou gerenciado, tornando -o ideal para organizações que não desejam dedicar recursos ao Configuração, manutenção e suporte de servidores internos. Ele permite que você armazene todos os seus dados em um local centralizado e dimensione sua computação de forma independente. Por exemplo, se você precisar tempo real Carregos de dados Para transformações complexas, mas possui apenas algumas consultas complexas em seus relatórios, você pode escrever um enorme armazém de floco de neve para a carga de dados e depois reduzi -lo’está terminado – tudo em tempo real. Isso economizará uma quantia significativa de dinheiro sem prejudicar seus objetivos de solução.

      Principais características do Snowflake

      Algumas das principais características do Snowflake são as seguintes:

      • Escalabilidade: O Calcular e Armazenar Os recursos são separados em flocos de neve’ Multi-cluster Arquitetura de dados compartilhados. Essa estratégia oferece aos usuários a capacidade de ampliar recursos quando grandes quantidades de dados precisam ser carregadas rapidamente e reduzem quando o processo estiver completo sem interromper qualquer tipo de operação.
      • Nenhuma administração necessária: Ele permite que as empresas configurem e gerenciem uma solução sem exigir um amplo envolvimento de administradores de banco de dados ou equipes de TI. Não requer a instalação do software ou o comissionamento de hardware.
      • Segurança: Snowflake abriga uma ampla gama de recursos de segurança, de como os usuários acessam o floco de neve até a forma como os dados são armazenados. Para restringir o acesso à sua conta, você pode gerenciar políticas de rede com endereços IP na lista de permissões. Snowflake suporta uma variedade de métodos de autenticação, incluindo Autenticação de dois fatores e Sso através da Autenticação federada.
      • Suporte para dados semiestruturados: Floco de neve’s arquitetura permite o armazenamento de Estruturada e Semi-estruturado dados no mesmo local, utilizando o VARIANTE Esquema no Ler tipo de dados. VARIANTE pode armazenar dados estruturados e semiestruturados. Depois que os dados são carregados, o Snowflake o analisa automaticamente, extrai os atributos e o armazena em um formato colunar.

      O que é um pipeline CI/CD?

      Um pipeline de CI/CD é um conjunto de procedimentos que devem ser seguidos para entregar uma nova versão do software. Integração contínua/entrega contínua (CI/CD) Os pipelines são um conjunto de práticas destinadas a melhorar a entrega de software através do uso de um DevOps ou a Engenharia de Confiabilidade do Site (SRE) abordagem. Um pipeline de CI/CD incorpora monitoramento e automação para melhorar o processo de desenvolvimento de aplicativos, particularmente durante o Integração e Teste fases, bem como durante Entrega e Implantação. Embora cada etapa de um pipeline de CI/CD possa ser realizada manualmente, o valor verdadeiro de um pipeline de CI/CD é realizado através da automação.

      Muitas equipes de desenvolvimento de software são geograficamente dispersas ou isoladas, mas a integração contínua (IC) permite um rápido desenvolvimento, evitando Mesclar conflitos, insetos e duplicação. A integração contínua sempre mantém a ramificação principal atualizada, mas também pode permitir o lado isolado de curto prazo ou ramos para pequenas mudanças que podem eventualmente ser mescladas no ramo principal.

      A entrega contínua permite o desenvolvimento rápido e incremental e permite que as equipes de desenvolvimento construam e liberem software a qualquer momento. Também ajuda as equipes do DevOps a reduzir os custos e aumentar a velocidade com que novos lançamentos são implantados. A entrega contínua requer uma estrutura altamente repetível e é frequentemente considerada uma extensão da integração contínua. Mais tarde neste artigo, você aprenderá a construir um Oleoduto de cd de floco de neve.

      O que é o Azure DevOps?

      Azure DevOps é um Software como um serviço (SaaS) plataforma oferecida pela Microsoft que fornece uma cadeia de ferramentas de ponta a ponta para desenvolver e implantar software. Também se integra à maioria do mercado’s liderando ferramentas e é uma excelente opção para orquestrar uma cadeia de ferramentas do DevOps. O Azure DevOps oferece serviços de desenvolvedor que permitem que as equipes planejem seu trabalho, colabore no desenvolvimento de código e construam e implantem aplicativos. O Azure DevOps promove uma cultura e um conjunto de procedimentos que reúnem desenvolvedores, gerentes de projeto e colaboração para colaborar no desenvolvimento de software. Ele permite que as organizações criem e melhorem os produtos a uma taxa muito mais rápida do que as abordagens tradicionais de desenvolvimento de software permitem.

      O que é Flyway?

      Flyway é um Código aberto ferramenta licenciada em Licença Apache 2.0 Isso permite que os usuários implementem Migrações de banco de dados. Permite definir as operações de atualização necessárias em um Script SQL ou Código Java. Você pode executar a migração do banco de dados de um cliente da linha de comando, como parte do seu processo de construção ou como parte do seu aplicativo Java.

      A principal vantagem desse processo é que o Flyway detecta e executa as operações de atualização necessárias. Como resultado, você não’preciso saber quais instruções de atualização do SQL devem ser executadas para atualizar seu banco de dados atual. Você e seus colegas podem simplesmente definir as operações de atualização que serão usadas para migrar o banco de dados de uma versão para a próxima e a Flyway detectará a versão atual e executará as operações de atualização necessárias para atualizar o banco de dados.

      Confiável EUNTEGRATE DAta com Hevo’S totalmente automatizado sem pipeline de dados de código

      Se o seu é como as mais de 1000 empresas orientadas a dados que usam o HeVO, mais de 70% dos aplicativos de negócios que você usa são aplicativos SaaS. Integrar os dados dessas fontes em tempo hábil é crucial para a análise de combustível e as decisões que são tomadas dela. Mas, dado a rapidez com que os terminais da API etc.
      Hevo’S Plataforma de Dados de Dados Sem Código permite conectar mais de 150 fontes em questão de minutos para fornecer dados quase em tempo real ao seu armazém, como Floco de neve. O que’S MAIS, os recursos de transformação embutidos e a interface do usuário intuitiva significa que até os não-engenheiros podem configurar pipelines e obter dados prontos para análises em minutos.

      Tudo isso combinado com preços transparentes e suporte 24 × 7 nos torna o software de pipeline de dados mais amado em termos de revisões de usuários.

      Faça nosso teste gratuito de 14 dias para experimentar uma maneira melhor de gerenciar pipelines de dados.

      Como construir um pipeline de floco de neve/cd usando o Azure DevOps e Flyway?

      Construir um pipeline de cd de floco de neve é ​​amplamente um processo de 4 etapas. Siga as etapas fornecidas abaixo para executar e profundamente um pipeline de cd cd floco de neve:

      Etapa 1: Crie um projeto de demonstração

      A primeira etapa envolvida na construção de um pipeline de cd de floco de neve exige que você crie um projeto Demo Azure DevOps. Siga as etapas dadas abaixo para fazer isso:

      • Crie bancos de dados e um usuário alavancando o seguinte script:

      -- Criar bancos de dados Criar banco de dados Flyway_Demo Comment = 'Azure DevOps Deployment Test'; Criar banco de dados Flyway_Demo_Dev Comment = 'Azure DevOps Deployment Test'; Criar banco de dados Flyway_Demo_Qa Comment = 'Azure DevOps Deployment Test'; - Crie um usuário de implantação Crie o usuário devOpsuser senha = '' default_role = sysadmin;

      • Faça login na sua conta do Azure DevOps usando as credenciais apropriadas.
      • Escolha o Organização e clique na cor azul +Novo projeto botão.

      CD do Snowflake CI: Criando um novo projeto | Dados Hevo

      • Dê um nome único e conciso ao seu projeto. Você também pode adicionar uma descrição para isso. Deixar’s nomear o projeto como Snowflake_flyway Para o bem deste tutorial.
      • Agora, selecione o Visibilidade opção para o seu projeto e clique no Criar botão.

      Snowflake CI CD: Azure DevOps Project | Dados Hevo

      Etapa 2: Configure o ambiente de produção

      Você deve ter um ambiente para adicionar a etapa de aprovação. Siga as etapas fornecidas abaixo para criar os ambientes e aprovações necessários:

      • Volte para a página inicial do Azure DevOps.
      • Navegue até a barra de navegação do lado esquerdo e clique no Ambientes opção.
      • Dê um nome único ao ambiente de produção e clique no Criar botão.

      CD do Snowflake CI: Ambiente de Produção | Dados Hevo

      • Para criar aprovação para o ambiente de produção, clique nos três pontos verticais localizados ao lado do Adicionar recurso botão.
      • Clique no Aprovações e cheques opção para adicionar uma lista de aprovadores.

      CD do Snowflake CI: Adicionando recursos | Dados Hevo

      Etapa 3: Crie um grupo variável da biblioteca

      Quando você tem um conjunto de variáveis ​​que serão usadas em vários pipelines, você pode criar um grupo variável uma vez e referenciá -lo em vários grupos. As bibliotecas são usadas para armazenar variáveis ​​e arquivos com segurança que serão usados ​​no seu pipeline de cd cdflake ci. Siga as etapas fornecidas abaixo para criar um grupo de variáveis ​​da biblioteca:

      CD do Snowflake CI: Criando Grupo Variável | Dados Hevo

      • Na barra de navegação esquerda, clique em Biblioteca presente sob o Pipelines opção.
      • No Biblioteca página, navegue para o Grupos variáveis aba.
      • Clique no +Grupo variável botão para criar um novo grupo de variáveis ​​da biblioteca.
      • Dê um nome único ao grupo e adicione as seguintes variáveis.

      Snowflake_jdbc_url = jdbc: snowflake: // snowflake_account_name =..SnowflakEcputing.com snowflake_warehouse = snowflake_rolename = sysadmin snowflake_devops_username = # Mark como uma variável secreta Tipo de neveflake_devops_secret = snowflake_authenticator = snowflake

      CD do Snowflake CI: Grupo Variável da Biblioteca | Dados Hevo

      • Depois de adicionar com sucesso todas as variáveis, não se esqueça de clicar no Salvar botão à direita do grupo variável’N Nome. É assim que seu grupo variável seria:

      Etapa 4: Crie e execute um pipeline de implantação de CD de floco de neve CI

      Agora, para criar um pipeline de cd cdflake ci, siga as etapas abaixo:

      • Na barra de navegação esquerda, clique no Pipelines opção.
      • Se você estiver criando um pipeline pela primeira vez, clique no Crie pipeline botão. No caso, você já tem outro pipeline definido e clique em Novo pipeline botão.
      • No Conectar guia, selecione o Repositores do Azure Git opção e selecione o repositório desejado (Snowflake_flyway) na próxima tela.

      CD de neve: repositórios do Azure git | Dados Hevo

      • No Configure seu pipeline página, selecione o Oleoduto inicial opção.

      CD de neve de floco de neve: configurando o pipeline de cd cdflake ci | Dados Hevo

      • Por fim, cole a seguinte parte do código no Revise seu YAML final página.

      Variáveis: - Grupo: Snowflake.Banco de dados - Nome: DBName Valor: Flyway_Demo - Nome: FlywayartifactName Valor: DatabaseartIfacts - Nome: FlywayvMimage Valor: 'Ubuntu -16.04 ' - Nome: FlywayContainerImage Valor:' Kulmam92/Flyway -Azure: 6.2.3 'Trigger: - Master Etages: - Estágio: Variáveis ​​de construção: - Nome: DBNAME_POSTFIX Valor: _Dev Jobs: - Modelo: Modelos/SnowflyFlywaybuild.Parâmetros YML: JobName: 'BuildDatabase' DatabaseName: $ (DBNAME) DATABASEPOSTFIX: $ (DBNAME_POSTFIX) ARTIFACTNAME: $ (FlywayArtifactName) VMIMAGE: $ (FlywayVMIMAGE) DeSwerImage: $ (FlyArtName): StaggetNerImage): FlywayvMimage) DeSwerImage: $ (FlyAwayContaiMImage): StaggetMaMage): FLYOSTERIMAGEMAGEMAGE): Empregos: - Modelo: Modelos/SnowflywayDeploy.Parâmetros YML: JobName: Dev DatabaseName: $ (DBNAME) DatabasePostfix: $ (DBNAME_POSTFIX) ArtifactName: $ (FlywayArtifactName) VMIMAGE: $ (FLYWAYVMIMAGE) Container: $ (#TaMaMaMaMaMaMaMaMaMa: Empregos: - Modelo: Modelos/SnowflywayDeploy.Parâmetros YML: JobName: qa DatabaseName: $ (DBNAME) DatabasePostfix: $ (dbname_postfix) ArtifactName: $ (FlywayArtifactName) VMIMAGE: $ (FLYWAYVMIMAGE) ContainerImage: $ (STAPETIMAGEMAGEMAGEMAMAGEMEMAGEMEMAGE: String vazia para trabalhos de produtos elegantes: - Modelo: Modelos/SnowflywayDeploy.Parâmetros YML: JobName: Prod DatabaseName: $ (DBNAME) DatabasePostfix: $ (DBNAME_POSTFIX) ArtifactName: $ (FlywayArtifactName) VMIMAGE: $ (FlywayVMIMage) Container: $ ($ ($ ($ ($ FlywayContAnnerImage): $ (FlywayVMAGE) Contêntreim:

      CD do Snowflake CI: Salve e execute o oleoduto | Dados Hevo

      • Depois de adicionar o código com sucesso ao editor, clique no Save e corra botão.

      Depois de seguir todas as etapas explicadas acima na sequência correta, você poderá construir um pipeline de cd de floco de neve do zero do zero!

      Conclusão

      Este blog apresentou você ao floco de neve junto com os recursos destacados que ele oferece. Além disso, ele apresentou as etapas necessárias para construir um CD do Snowflake CI Oleoduto do zero usando o Azure DevOps e Flyway.

      À medida que sua empresa começa a crescer, os dados são gerados a uma taxa exponencial em toda a sua empresa’S APLICAÇÕES SAAS, Banco de dados e outras fontes. Para atender a essas necessidades crescentes de armazenamento e computação de dados, você precisaria investir uma parte da sua largura de banda de engenharia para integrar dados de todas as fontes, limpar e transformá -los e, finalmente Floco de neve Para mais análises de negócios. Todos esses desafios podem ser tratados com eficiência por um Ferramenta ETL baseada em nuvem, como dados do HEVO.

      Dados do HEVO, um pipeline de dados sem código fornece uma solução consistente e confiável para gerenciar a transferência de dados entre uma variedade de fontes e uma ampla variedade de destinos desejados, como Floco de neve, com alguns cliques. Dados do HEVO com sua forte integração com mais de 100 fontes (incluindo mais de 40 fontes livres) permite que você não apenas exporte dados de fontes de dados desejadas e carregá-los no destino de sua escolha, mas também transformar e enriquecer seus dados para torná-los prontos para análise, para que você possa se concentrar nas suas principais necessidades de negócios e executar análises perspicazes usando ferramentas de BI.

      Quero levar o Hevo para dar uma volta? Inscreva -se aqui para um Julgamento gratuito de 14 dias e experimente a suíte hevo rica em recursos em primeira mão. Você também pode dar uma olhada em nossos preços imbatíveis que ajudarão você a escolher o plano certo para as necessidades de seus negócios!

      Compartilhe sua experiência de construir um Oleoduto de cd de floco de neve Nos comentários abaixo!

      Floco de neve

      O nível de suporte determina o grau de suporte disponível para este banco de dados (Saiba mais).

      Motoristas

      Formato de URL JDBC: Snowflake: //conta.SnowflakEcputing.coma?dB =base de dados& Warehouse =armazém& função =papel (Opcionalmente e esquema =esquema para especificar esquema atual)
      Navios com linha de comando da Flyway Sim
      Coordenadas centrais do MAVEN líquido.Snowflake: Snowflake-JDBC: 3.6.23
      Versões suportadas 3.6.23 e mais tarde
      Classe Java padrão líquido.floco de neve.cliente.JDBC.Snowflakedriver

      Sintaxe do script SQL

      • Sintaxe SQL padrão com delimitador de declaração ;

      Compatibilidade

      • DDL exportado pela GUI da web de floco de neve pode ser usado inalterado em uma migração de voos
      • Qualquer script SQL executado pela Flyway, pode ser executado pela GUI da web do Snowflake (depois que os espaços reservados forem substituídos)
      • O motorista do Snowflake requer Java 8+. Não há suporte do Snowflake para Java 7 Usuários.

      Exemplo

      / * Comentário de linha única */ Criar tabela test_data (Value Varchar (25) não é a chave primária nula); / * Comentário multi-line */-Comentário no estilo SQL-Inserção de espaço reservado em $ (nome) valores ('MR. T ');

      Autenticação baseada em chaves

      Snowflake JDBC suporta autenticação baseada em chave. Para usar isso, você precisará:

      • Certifique -se de estar usando pelo menos V3.11 do motorista JDBC do Snowflake (Flyway atualmente é enviado com esta versão)
      • gerar um par público/privado
      • Atribua a chave pública para a conta de usuário relevante do Snowflake usando o ALTER User – para obter instruções completas sobre essas etapas, consulte o Snowflake’S Documentação

      Por fim, altere sua sequência de conexão JDBC com os parâmetros extras para ativar a autenticação baseada em chave e consultar a localização da chave privada: autenticator = snowflake_jwt & private_key_file = .

      Limitações

      • As migrações paralelas, conforme descrito aqui, não estão disponíveis em floco de neve. Você pode acompanhar o status desse recurso em nossos problemas do Github aqui.

      Integração do Flyway com Git e conectando -se ao Snowflake

      Temos um banco de dados existente com várias tabelas e toda vez que fazemos alterações no esquema de alguma mesa, tivemos que executar alguns scripts manuais para evitar qualquer perda de dados. Estamos procurando software que possa se integrar ao nosso repo Git e gerar os DDLs atualizados para o banco de dados. Encontrei a ferramenta de migração de banco de dados Flyway e, passando pela documentação, teve essa pergunta sobre a integração com o Code Repo, onde as alterações no esquema de banco de dados são empurradas. Também trabalha com flocos de neve. se sim, onde posso adicionar os drivers JDBC necessários para se conectar ao banco de dados e qual seria o .arquivo conf para conexão de neve.

      Perguntado em 22 de fevereiro de 2019 às 20:12

      67 4 4 crachás de prata 18 18 crachás de bronze

      3 respostas 3

      Oficialmente a Flyway não funciona com o Snowflake no momento (como você pode ver lá https: // github.com/flyway/flyway/pull/2274). De acordo com esta discussão, parece haver um garfo compatível com floco de neve existente, no entanto, eu não recomendaria fazer isso em um sistema de produção sem verificá-lo fortemente, mas se você realmente precisar, pode valer a pena dar uma olhada.

      Em relação à integração do Flyway com o Git, você pode integrar a Flyway em seu processo de CI, puxando a imagem do Docker do Flyway (https: // github.com/flyway/flyway -docker) – ou usando sua própria imagem se você decidir ir para um garfo compatível com floco de neve – e executando o comando migrate contra o (s) banco de dados de destino (s).

      respondeu 12 de março de 2019 às 16:02

      11 1 1 crachá de prata 2 2 crachás de bronze

      Obrigado pela resposta. A compatibilidade com o Flyway com outros bancos de dados é bom. Estamos olhando para as opções. Ansioso para você adicionar a opção de floco de neve

      13 de março de 2019 às 5:55

      Eu não sou a pessoa que trabalha nesse pedido de tração, infelizmente 🙂 mas minha equipe correu exatamente no mesmo problema que você. Eu acho que você pode verificar LIFLIBASE e SQITCH !

      Floco de neve

      O nível de suporte determina o grau de suporte disponível para este banco de dados (Saiba mais).

      Motoristas

      Formato de URL JDBC: Snowflake: //conta.SnowflakEcputing.coma?dB =base de dados& Warehouse =armazém& função =papel (Opcionalmente e esquema =esquema para especificar esquema atual)
      Navios com linha de comando da Flyway Sim
      Coordenadas centrais do MAVEN líquido.Snowflake: Snowflake-JDBC
      Versões suportadas 3.6.23 e mais tarde
      Classe Java padrão líquido.floco de neve.cliente.JDBC.Snowflakedriver

      Sintaxe do script SQL

      • Sintaxe SQL padrão com delimitador de declaração ;

      Compatibilidade

      • DDL exportado pela GUI da web de floco de neve pode ser usado inalterado em uma migração de voos
      • Qualquer script SQL executado pela Flyway, pode ser executado pela GUI da web do Snowflake (depois que os espaços reservados forem substituídos)
      • O motorista do Snowflake requer Java 8+. Não há suporte do Snowflake para Java 7 Usuários.

      Exemplo

      / * Comentário de linha única */ Criar tabela test_data (Value Varchar (25) não é a chave primária nula); / * Comentário multi-line */-Comentário no estilo SQL-Inserção de espaço reservado em $ (nome) valores ('MR. T ');

      Autenticação baseada em chaves

      Snowflake JDBC suporta autenticação baseada em chave. Para usar isso, você precisará:

      • Certifique -se de estar usando pelo menos V3.11 do motorista JDBC do Snowflake (Flyway atualmente é enviado com esta versão)
      • gerar um par público/privado
      • Atribua a chave pública para a conta de usuário relevante do Snowflake usando o ALTER User – para obter instruções completas sobre essas etapas, consulte a documentação do Snowflake

      Por fim, altere sua sequência de conexão JDBC com os parâmetros extras para ativar a autenticação baseada em chave e consultar a localização da chave privada: autenticator = snowflake_jwt & private_key_file = .

      Limitações

      • As migrações paralelas, conforme descrito aqui, não estão disponíveis em floco de neve. Você pode acompanhar o status desse recurso em nossos problemas do Github aqui.
      • Os usuários que usam o Java 16 ou mais, que incluem o JRE enviado na linha de comando Java, precisarão adicionar o seguinte argumento JVM a java_args –dd-opens java.base/java.Lang = sem tudo . Isso pode ser feito através da linha de comando ou variáveis ​​de ambiente, isso se deve a uma mudança no tempo de execução do Java 16, o que causa um erro no driver do Snowflake JDBC.

      Não encontrou o que você estava procurando?

      • Visite o Fórum Redgate
      • Suporte de contato