Grandes filmes, Big Data: Netflix adota NoSQL na nuvem

Ao aceitar todos os cookies, você concorda com o uso de cookies para fornecer e manter nossos serviços e site, melhorar a qualidade do Reddit, personalizar o conteúdo e publicidade do Reddit e medir a eficácia da publicidade.

Resumo

A Netflix, com 33 milhões de assinantes em mais de 40 países, teve que adaptar suas estratégias de dados e armazenamento à medida que seu serviço de streaming cresceu. A empresa migrou de usar o banco de dados Oracle para o banco de dados NOSQL Cassandra, melhorando a disponibilidade e eliminando o tempo de inatividade causado por alterações no esquema de banco de dados. Com o aumento da demanda por disponibilidade devido a mais clientes usando o serviço de streaming da Netflix, a empresa necessária para reavaliar sua abordagem de dados e armazenamento.

A Netflix usou inicialmente o banco de dados Oracle como back -end para seu serviço de streaming. No entanto, à medida que a base de clientes e os dados cresceram rapidamente, a empresa percebeu que precisava escalar e melhorar a disponibilidade. Para abordar isso, a Netflix mudou seus dados para os serviços da Web da Amazon e substituiu o Oracle pelo Apache Cassandra, um banco de dados NOSQL de código aberto conhecido por sua escalabilidade e confiabilidade.

Uma das principais desvantagens do uso de um banco de dados SQL central como o Oracle foi o risco de um único ponto de falha. A arquitetura distribuída de Cassandra proporcionou melhor flexibilidade para criar e gerenciar clusters de dados, especialmente na nuvem. A migração de Oracle para Cassandra também eliminou a necessidade de tempo de inatividade durante as mudanças de esquema, melhorando a disponibilidade e a escalabilidade.

Hoje, Cassandra é o banco de dados preferido para quase todas as necessidades de dados da Netflix, incluindo informações da conta do cliente, classificações de filmes, metadados, favoritos e logs. O uso de Cassandra permitiu que a Netflix escala seus serviços em todo o mundo, respondendo rapidamente a mudanças e demandas em diferentes regiões do mundo.

Pontos chave

1. A Netflix migrou de usar o Oracle para Cassandra como seu banco de dados principal.

Ao se mudar para Cassandra, a Netflix melhorou a disponibilidade e eliminou o tempo de inatividade causado por mudanças de esquema.

2. O rápido crescimento do serviço de streaming da Netflix exigiu uma reavaliação de suas estratégias de dados e armazenamento.

À medida que a base de clientes e os dados cresciam, a empresa precisava escalar e garantir a disponibilidade para atender à crescente demanda.

3. A arquitetura distribuída de Cassandra fornece melhor flexibilidade e escalabilidade em comparação com um banco de dados SQL central como o Oracle.

Cassandra permite que a Netflix crie e gerencie clusters de dados rapidamente, especialmente na nuvem.

4. A Netflix migrou inicialmente seus dados do Oracle para.

Isso permitiu à Netflix abordar as limitações de um banco de dados SQL e testar a escalabilidade e a confiabilidade de Cassandra.

5. Com Cassandra, a Netflix ganhou melhor agilidade nos negócios e a capacidade de escalar globalmente.

A Netflix não precisa mais planejar a capacidade com antecedência e pode criar clusters de Cassandra em qualquer região do mundo rapidamente.

6. Mudanças de esquema em Cassandra não requerem tempo de inatividade.

Ao contrário do Oracle, não há esquemas para mudar em Cassandra, eliminando o tempo de inatividade e melhorando a disponibilidade.

7. A Netflix armazena 95% de seus dados em Cassandra.

Isso inclui informações de conta do cliente, classificações de filmes, metadados, favoritos e logs.

8. Embora gerencie várias instâncias de Cassandra requer mais administração, eles tendem a quebrar em momentos diferentes.

Isso garante que apenas pequenos pedaços do sistema sejam afetados de uma só vez, em vez de todo o sistema.

9. Cassandra forneceu à Netflix a capacidade de se adaptar rapidamente e responder às mudanças de demandas e expansão do mercado.

A Netflix pode facilmente escalar seus serviços para novas regiões, acomodando necessidades e preferências de streaming variadas.

10. A migração para Cassandra foi bem -sucedida para a Netflix, permitindo lidar com grandes volumes de dados e manter um serviço de streaming confiável.

O uso de Cassandra ajudou a Netflix a manter a satisfação do cliente e aumentar seu alcance global.

Questões

1. Por que a Netflix migrou de Oracle para Cassandra?

A Netflix migrou de Oracle para Cassandra para melhorar a disponibilidade e eliminar o tempo de inatividade durante as mudanças de esquema.

2. Quais foram os desafios que a Netflix enfrentou com um banco de dados SQL como o Oracle?

A Netflix enfrentou desafios como um único ponto de falha, escalabilidade limitada e tempo de inatividade durante mudanças de esquema com o Oracle.

3. Como a arquitetura distribuída de Cassandra beneficia a Netflix?

A arquitetura distribuída de Cassandra fornece melhor flexibilidade e escalabilidade, permitindo que a Netflix crie e gerencie clusters de dados rapidamente, especialmente na nuvem.

4. Como a Netflix testou inicialmente a escalabilidade e a confiabilidade de Cassandra?

A Netflix migrou inicialmente seus dados do Oracle para.

5. Que vantagens Cassandra oferecem à Netflix em termos de agilidade dos negócios e escalabilidade global?

Cassandra fornece à Netflix uma melhor agilidade nos negócios, pois não precisa mais planejar a capacidade com antecedência e pode criar clusters em qualquer região do mundo rapidamente.

6. Por que o tempo de inatividade não é mais necessário para as mudanças de esquema em Cassandra?

Cassandra não requer mudanças de esquema, eliminando a necessidade de tempo de inatividade e melhorando a disponibilidade.

7. Qual a porcentagem dos dados da Netflix é armazenada em Cassandra?

Quase 95% de todos os dados da Netflix, incluindo informações da conta do cliente, classificações de filmes, metadados, favoritos e logs, são armazenados em Cassandra.

8. Como o gerenciamento de várias instâncias de Cassandra afeta a administração?

Embora exija mais administração, o gerenciamento de várias instâncias de Cassandra garante que apenas pequenos pedaços do sistema sejam afetados de uma só vez em caso de falha.

9. Como Cassandra permitiu que a Netflix se adaptasse e respondesse às mudanças de demandas e expansão do mercado?

Cassandra forneceu à Netflix a capacidade de dimensionar rapidamente seus serviços para novas regiões, acomodando diferentes necessidades e preferências de streaming.

10. Como a migração para Cassandra beneficiou o serviço de streaming da Netflix?

A migração para Cassandra permitiu à Netflix lidar com grandes volumes de dados e manter um serviço de streaming confiável, garantindo a satisfação do cliente e o crescimento global.

Grandes filmes, Big Data: Netflix adota NoSQL na nuvem

Ao aceitar todos os cookies, você concorda com o uso de cookies para fornecer e manter nossos serviços e site, melhorar a qualidade do Reddit, personalizar o conteúdo e publicidade do Reddit e medir a eficácia da publicidade.

Netflix usa o Oracle

O Reddit e seus parceiros usam cookies e tecnologias semelhantes para proporcionar uma experiência melhor.

Ao aceitar todos os cookies, você concorda com o uso de cookies para fornecer e manter nossos serviços e site, melhorar a qualidade do Reddit, personalizar o conteúdo e publicidade do Reddit e medir a eficácia da publicidade.

Ao rejeitar cookies não essenciais, o Reddit ainda pode usar certos cookies para garantir a funcionalidade adequada de nossa plataforma.

Para mais informações, consulte nosso aviso de cookie e nossa política de privacidade .

Obtenha o aplicativo Reddit

Digitalize este código QR para baixar o aplicativo agora

Ou confira nas lojas de aplicativos

r/oraclecloud

r/oraclecloud

Subreddit para aqueles que desenvolvem ou arquiteta soluções na nuvem Oracle em PaaS ou IaaS.

Membros online

por UNKYPOO

Netflix via. Oracle Cloud VM VPN

Eu tenho uma instância do Reino Unido na Oracle Cloud e tenho uma configuração de wireguard.

No meu roteador (grite para GL.Inet beryl) I Setup Wireguard Client, conecte meus dispositivos pessoais i.e. MacBook, PC, telefone etc. E eles parecem estar aparecendo como no Reino Unido, posso acessar o BBC iPlayer, canal 4 etc.

No entanto, quando eu tento o Netflix, ele apenas se mostra e só me mostra o que está disponível no meu local geográfico.

A única maneira de estar acontecendo seria que a Netflix está usando meus dados GPS. Como realizei vários testes para descartar várias posibilidades, como vazamento de DNS etc. e tudo o mais funciona, exceto Netflix.

Alguém teve experiência semelhante e qualquer método usando que eles puderam ignorar/retificar isso?

Grandes filmes, Big Data: Netflix adota NoSQL na nuvem

Netflix é o grande kahuna de uma mídia da web, com 33 milhões de assinantes em mais de 40 países. À medida que o serviço de streaming “Watch Now” da Netflix cresceu, a empresa teve que repensar suas estratégias de dados e armazenamento para lidar com cargas de trabalho de balão gerenciadas na nuvem. Hoje, a empresa está quase completa em sua migração do Oracle para o banco de dados NoSQL Cassandra, melhorando a disponibilidade e eliminando essencialmente o tempo de inatividade incorrido pelo esquema do banco de dados.

A Netflix lançou seu serviço de streaming em 2007, usando o banco de dados Oracle como back -end. “Tínhamos um único data center, o que significava que tínhamos um único ponto de falha”, explica Adrian Cockcroft, arquiteto em nuvem da Netflix. “Estávamos nos aproximando dos limites de tráfego e capacidade. Agora que as pessoas podem assistir à programação da Netflix Streaming de seus telefones, de dispositivos Wii, caixas Roku e muitos outros, a demanda por disponibilidade aumenta o tempo todo. Temos mais clientes a cada trimestre, mais clientes estão usando o streaming e estão usando streaming a uma taxa maior.”

Os dados cresceram tão rápido quanto a base de clientes, Cockcroft diz: O número de solicitações de API em janeiro de 2011 foi 37 vezes maior que os pedidos em janeiro de 2010. A empresa sabia que interrupções ou streaming de baixa qualidade poderiam afastar os clientes. “Sabíamos que tínhamos que sair do data center, para que pudéssemos continuar correndo e continuar crescendo”, diz Cockcroft.

Em 2010, a Netflix começou a mudar seus dados para os serviços da Web da Amazon. O próximo passo foi substituir seu banco de dados Oracle pelo Apache Cassandra, um banco de dados NOSQL de código aberto conhecido por sua confiabilidade de escalabilidade e grau de empresa. “Para nós, o problema com um banco de dados SQL central foi que tudo estava em um lugar II, o que só é conveniente até que falhe”, explica Cockcroft. “E como esses bancos de dados são caros, você tende a colocar tudo lá. Então tudo falha de uma vez.”

Outro problema foi que o esquema muda o tempo de inatividade do sistema exigia. “A cada duas semanas, teríamos pelo menos 10 minutos de tempo de inatividade para colocar no novo esquema”, explica ele. “As limitações de um banco de dados SQL impactaram nossa disponibilidade e escalabilidade.”

A empresa escolheu Cassandra da DataStax por sua flexibilidade para criar e gerenciar clusters de dados rapidamente, particularmente na nuvem. Christos Kalantzis, gerente de engenharia em nuvem e plataforma da Netflix, explica que “soluções como o Oracle não correm muito bem em hardware virtualizado . A arquitetura de Cassandra e a disponibilidade e ajuste de consistência e escalabilidade tornaram uma escolha clara.”Para resolver esses problemas, a Netflix migrou inicialmente dados do Oracle para o Banco de Dados Distribuído do SimpleDB da Amazon – e eventualmente moveu esses dados para Cassandra.

“Com Cassandra, obtemos melhor agilidade nos negócios”, diz Cockcroft. “Não precisamos planejar a capacidade com antecedência, não precisamos pedir à permissão de outras pessoas para construir coisas para nós, e não nos preocupamos em ficar sem espaço ou poder. Eu posso criar um cluster de Cassandra em qualquer região do mundo em 10 minutos “, diz Cockcroft. “Quando os caras de marketing decidem que queremos nos mudar para uma certa parte do mundo, estamos prontos.”

Além disso, o tempo de inatividade devido a mudanças de esquema não é mais necessário. “Não há esquemas para mudar em Cassandra – portanto, não há tempo de inatividade”, diz Cockcroft.

Obviamente, com várias instâncias de Cassandra, há mais sistemas para gerenciar do que com o banco de dados monolítico do Oracle. Mas Cockcroft ressalta: “Eles tendem a quebrar em momentos diferentes, então você está perdendo pequenos pedaços do sistema, em vez de todo o sistema de uma só vez. Além disso, cada loja é mais simples de administrar.”

Hoje, Cassandra é o banco de dados preferido para quase todas as necessidades de banco de dados na Netflix. A empresa armazena 95 % de todos os seus dados em Cassandra, incluindo informações da conta do cliente, classificações de filmes, metadados de filmes, marcadores de filmes e logs.

A Netflix opera mais de 50 aglomerados de Cassandra com mais de 750 nós. No pico, eles processam mais de 50.000 leituras por segundo e 100.000 gravações por segundo em todos os seus aglomerados. Em média eles processam mais de 2.1 bilhão de leituras em um dia e mais de 4.3 bilhões de gravações em um dia.

Cassandra é forneceu uma base nova e mais sólida para a Netflix. Como diz Cockcroft, “torna possível prestar o serviço em que os membros confiam.”

Este artigo, “Big Movies, Big Data: Netflix abraça o nosql na nuvem”, foi publicado originalmente no infoworld.com. Leia mais do blog Think Big Data de Andrew Lampitt e continue com os últimos desenvolvimentos em Big Data no Infoworld.com as últimas notícias de tecnologia de negócios, siga o infoworld.com no Twitter.

• Código aberto
• Gestão de dados
• Jacarta EE
• Desenvolvimento de software
• Big data
• Bancos de dados NoSQL
• Java

Copyright © 2013 IDG Communications, Inc.

O ERP Netflix utiliza um sistema Oracle como a espinha dorsal

A porção não -cercada de um ativo depreciável é chamada a) depreciação acumulada. b) Valor realizável líquido. c) Valor residual estimado. d) Valor presente líquido.

O tremendo crescimento do Wang Lab deixou a empresa com um problema sério. Os clientes costumavam esperar meses para Wang preencher pedidos e processar faturas. ATENTES repetidos pela falta de pessoal de Wang

O ERP Netflix utiliza um sistema Oracle como a espinha dorsal de seus negócios

Sistema de gestão. É utilizado para gerenciar dados de inventário, financeiro e da empresa e dados do cliente. Também está no centro do sistema cinematográfico. Além de gerenciar dados de negócios, toda a biblioteca de DVD está representada e é representada no site junto com dados do cliente. O desempenho e a logística da empresa também são gerenciados através do sistema Oracle. A empresa foi construída desde o início usando este sistema. Netflix usa “Micro estratégia para relatórios e análise de dados financeiros, campanhas de marketing e recomendações de filmes” A Micro Strategy permitirá que a Netflix obtenha informações valiosas com dados personalizados de recomendação de filmes e dados de marketing significativos, isso permitirá que a Netflix avalie melhor e crie campanhas de marketing extraordinárias. CRM Um sistema de CRM usa informações sobre os clientes para obter informações sobre suas necessidades e desejos para tentar servi -los melhor. Netflix tem software inteligente. Por exemplo, o Netflix usa um sistema de recomendação; Este aplicativo interativo reúne dados sobre uma pessoa e tira conclusões delas. A partir daí, este sistema de recomendação sugerirá filmes com base em itens visualizados anteriormente ou no usuário’s semelhança com outros usuários. A Netflix também usa o software de inteligência de negócios para sua empresa conhecida como micro estratégia. Netflix usa “Micro estratégia para relatórios e análise de dados financeiros, campanhas de marketing e recomendações de filmes” A Micro Strategy permitirá que a Netflix obtenha informações valiosas com dados personalizados de recomendação de filmes e dados de marketing significativos, isso permitirá que a Netflix avalie melhor e crie campanhas de marketing extraordinárias. A Netflix fornece suporte adequado ao cliente a seus clientes, o que prova ser uma ótima abordagem filosófica e bem -sucedida. Respondendo efetivamente ao seu cliente’As necessidades de S provarão criar relacionamentos leais e duradouros com seus clientes. Internet para usar o Netflix, os consumidores se inscrevem em uma assinatura na empresa’s site. Por um preço mensal baixo, os membros da Netflix assistem instantaneamente filmes e programas de TV ilimitados transmitindo a Internet para PCs, Macs e TVs por meio de uma ampla gama de dispositivos. A Internet permite que as pessoas entrem em sua conta da Netflix em qualquer um dos dispositivos que possuem wifi ou acesso à Internet Netflix #2 Netflix foi fundado em 1997 e desde então se tornou o mundo’S LIVREITO DE SUBSTRIÇÃO DE ASSINAÇÃO DA INTERNET para assistir a filmes e programas de TV com 24 milhões de U.S. membros e mais de 1 milhão no Canadá.

Product Netflix é um site personalizado que fornece a seus usuários acesso on -line ao aluguel de filmes e programas de TV. Cadeia de valor Netflix coleta todos os filmes’s críticas de bilheteria e classificações de TV, bem como cliente’s Search and Click Behaviors, que são inseridos em uma ferramenta on -line chamada cinematch, que analisa esses dados para fornecer recomendações personalizadas para cada usuário.

Quero ler todas as 10 páginas?

Visualizar 6 de 10 páginas Carregue seus documentos de estudo ou se torne um membro.

Veja o documento completo

Quero ler todas as 10 páginas?

Visualizar 6 de 10 páginas Carregue seus documentos de estudo ou se torne um membro.

Veja o documento completo

Fim da visualização

Quero ler todas as 10 páginas? Envie seu estudo docs ou se torne um membro.

Veja o documento completo

Empresa

Obtenha um herói do curso

Ferramentas de estudo

Ajuda

Jurídico

• Política de direitos autorais
• Integridade acadêmica
• Nosso código de honra
• política de Privacidade
• Termos de uso
• Atribuições

Como funciona a Netflix

Já se perguntou o que acontece nos bastidores do nosso serviço de streaming de conteúdo favorito?

Bem, você’estar em sorte, pois vou explicar o back-end da Netflix no Amazon Web Services (AWS) e tentar simplificar.

A Netflix utiliza dois serviços em nuvem, como a Amazon Web Services e o Open Connect, os quais funcionam sem problemas para nos entregar como Usuários Experiência de visualização excepcional.

Open Connect é o que a Netflix usa como sua rede de entrega de conteúdo e não mergulhará profundamente no tópico.

Cliente

A Netflix suporta uma ampla gama de dispositivos varia de smartphones, TVs inteligentes, PCs e seus diferentes sistemas operacionais.

Tudo começa com você pressionando esse botão de clique e uma solicitação para os servidores da Netflix que são hospedados principalmente na AWS é feita.

Balanceamento de carga elástica da AWS

A solicitação, juntamente com várias outras solicitações.

A carga é equilibrada em diferentes zonas conhecidas como o esquema de equilíbrio de duas camadas.

Antes de um vídeo ser disponibilizado, o pré -processamento ocorre que isso varia de encontrar erros, converter o vídeo em um formato ou resolução diferente, etc., isso é conhecido como transcodificação.

A transcodificação é feita para acomodar os vários dispositivos suportados pela plataforma, pois você pode imaginar um smartphone precisa de uma resolução menor e dispositivos grandes, como TVs inteligentes, precisam de uma resolução mais alta.

Os arquivos também são otimizados de acordo com a velocidade da rede, quando o seu provedor de serviços de Internet (ISP) está passando por uma rede lenta, a resolução pode ser diminuída.

Se você tem velocidades muito rápidas, é justo que você receba seu vídeo em alta resolução.

Isso é conseguido pela criação de várias cópias do mesmo filme, em diferentes resoluções.

Um filme pode ser um arquivo de 60 GB, que é dividido em diferentes pedaços que estão a bordo em uma fila, pois saem da fila que são escolhidos por diferentes trabalhadores do EC2 e fundidos na Amazon S3.

Zuul

Este é um serviço de gateway criado pela Netflix que fornece roteamento e monitoramento dinâmico.

A solicitação que você enviou do seu dispositivo agora atinge o proxy da Netty, que o envia para o filtro de entrada e pode ser usado para autenticar, rotear ou decorar esta solicitação.

Depois disso, a solicitação é enviada ao filtro de ponta final, que é usado para retornar como uma solicitação estática ou encaminhar sua solicitação para os serviços de back-end.

Depois que uma resposta é recebida de um serviço de back -end, o filtro de endpoint o transferirá para os filtros de saída.

O filtro de saída executa um processo conhecido como gzipping no conteúdo e adiciona ou remove o cabeçalho. Uma vez que os dois processos estiverem completos, uma resposta é enviada de volta ao proxy Netty.

Hystrix

Com tantos processos acontecendo, é definitivamente necessário um mecanismo de tolerância a falhas.

O diagrama acima ilustra pontos de extremidade em um sistema, se os pontos de extremidade 4 e 5 arremessam erros, todo o sistema não deve sofrer, portanto, uma histeria é usada para isolar pontos de extremidade.

Simplesmente explicado Hysterix é um algoritmo que decora microsserviços também chamado de terminais em um sistema.

Microsserviços

Os microsserviços são essenciais para alimentar a infraestrutura da API da Netflix, à medida que uma solicitação do usuário é feita para qualquer terminal, passa para os outros pontos finais através de um processo iterativo.

Os microsserviços podem ser distribuídos em diferentes instâncias usando HTTP ou Chamadas de Procedimento Remoto (RPC).

O problema comum com um sistema movido a microsserviço é que qualquer nó pode falhar e todo o sistema pode em cascata em falha, como controlamos isso?

Como mencionado acima, uma maneira é o algoritmo Hysterix, que isola os pontos finais e o outro está reduzindo as dependências de nós vitais.

Acima, temos dois diagramas, um é do nó A e suas dependências, e o outro é o nó D e suas dependências.

Comparando os dois diagramas, podemos ver que o nó A possui várias dependências e o nó B apenas um, portanto, o nó D é o nó confiável e escalável no qual podemos executar serviços importantes.

Com a engenharia de software, devemos sempre olhar para o melhor e pior caso, um sistema como a falha da Netflix deve significar que pelo menos funcionalidades básicas estão disponíveis para clientes.

Terminais críticos, como pesquisa, reprodução, navegação, sempre devem ser alocados menos dependências.

Outro recurso -chave em um sistema de microsserviço FailSafe possui pontos de extremidade sem estado, se um endpoint estiver inativo, o usuário deve obter uma resposta de qualquer outro nó/endpoint.

Cache EV

O EVCACHE é uma camada de cache personalizada de propriedade da Netflix, que é baseada em Mamcache D e Spymemcache D. Ele usa vários clusters implantados em instâncias do EC2 para reduzir a pressão nos pontos finais.

Quando o sistema Evcache do cliente recebe leituras e grava, ele os distribui para todos os nó disponíveis nesse cluster, isso significa que o cache é distribuído uniformemente dentro da rede.

Base de dados

A Netflix utiliza dois sistemas de banco de dados diferentes, a saber, MySQL e Apache Cassandra.

Meu SQL é um sistema de gerenciamento de banco de dados relacional (RDBMS) e Cassandra é o sistema NOSQL.

O MySQL é usado para armazenar informações do usuário, como informações de cobrança, transações como essas necessidades de conformidade de ativos.

O restante dos dados, como big data e histórico de visualização do usuário, é armazenado no sistema de banco de dados Cassandra.

Meu SQL foi implantado nas instâncias Amazon grandes EC2 usando um mestre NODB para dominar a configuração.

Quando uma gravação é feita, ela também é replicada para o outro nó mestre, então apenas uma atualização será enviada para consultas que foram feitas ao mestre.

Replicas para cada nó são feitas para lidar com a escalabilidade e a confiabilidade dos RDBMs, essas réplicas estão disponíveis localmente e entre os data centers.

Quando um nó mestre falha nas configurações DNS é feita para redirecionar consultas para o mestre certo.

Cassandra

O Apache Cassandra ganhou sua reputação como um sistema de banco de dados sem esquema SQL sem SQL que pode lidar com grandes quantidades de dados.

A Netflix adotou este sistema de gerenciamento de base de dados para lidar com seus big data, à medida que a Netflix cresceu dados começou a se acumular e encher os nós Cassandra.

A proporção de leituras de usuário e gravação tornou -se 9 a 1 solicitando a equipe de engenharia da Netflix para otimizar o sistema de banco de dados.

Foi desenvolvido um sistema de trabalho programado que separou os dados no seguinte; Visualização ao vivo História e história de visualização compactada, com a história de visualização ao vivo sendo a mais recente.

Os trabalhos programados comprimiram o antigo histórico de visualização que é mantido até que seja necessário para qualquer final.

Apache Kafka e Chukwa

Apache Chukwa é usado para coletar toras de sistemas distribuídos, vem da escalabilidade e robustez do Hadoop.

Todos os registros e eventos de diferentes partes (Hysterix e Filtro de Inbound) dentro do sistema são enviados para Chukwa.

Esses dados são visualizados e analisados ​​com o painel de construção. Chukwa encaminha os dados para a Amazon S3 e uma cópia desses dados é enviada para o Apache Kafka.

Os dados são então roteados com o serviço de roteamento Kafkas para vários mecanismos sincronizados, como Amazon S3, Elastic Search e outros Kafka secundário.

Pesquisa elástica

Os eventos e troncos fluem através de Chukwa, Kafka e a parada final é uma pesquisa elástica.

Existem cerca de 150 clusters e 3500 instâncias que lidam com a pesquisa elástica no back -end da AWS.

O caso de uso prático de pesquisa elástica seria a transmissão de erros experimentados pelos clientes; O atendimento ao cliente pode apenas procurar o erro usando os detalhes do cliente e o erro será visualizado, juntamente com os detalhes do erro.

A pesquisa elástica também pode ser usada para visualizar; Inscreva -se, faça login e acompanhe o uso.

Veja também:

https: // docs.AWS.Amazonas.com/awsec2/mais recente/userguide/conceitos.htmlhttps: // www.LoginWorks.com/blogs/como-Netflix-use-data-to-win-the-raça/
https: // github.com/netflix/hystrix
https: // github.com/netflix/zuul

Se esta posta