Arquitetura da Netflix: quanto custa a AWS da Netflix?
Se você já se perguntou o quanto a Netflix paga pelos custos da AWS, você está com sorte. Neste artigo, exploraremos o monstro de eficiência por trás de tudo – a arquitetura Netflix AWS. Vamos mergulhar!
1. A Netflix é lucrativa em 2021?
Netflix fez uma receita operacional de US $ 4.6 bilhões em 2020, embora seu fluxo de caixa livre positivo tenha sido $ 1.9 bilhões. No entanto, o gigante de streaming espera quebrar, mesmo em termos de fluxo de caixa até o final de 2021, apesar de ter uma enorme dívida de US $ 15 bilhões.
2. Quanto a Netflix gasta na AWS?
Os custos da AWS da Netflix foram estimados em cerca de US $ 9.6 milhões por mês em 2019. No entanto, a empresa planeja gastar mais de US $ 1 bilhão em serviços de streaming e custos de computação em nuvem até 2023, com média de mais de US $ 27.78 milhões por mês.
3. Como a Netflix usa seus gastos com aws?
A Netflix conta com a AWS para quase todas as suas necessidades de computação em nuvem. Isso inclui armazenamento on -line, mecanismo de recomendação, transcodificação de vídeo, bancos de dados e análise. A AWS desempenha um papel crucial no suporte aos serviços de streaming da Netflix.
4. Como o Netflix monitora e mede os custos da AWS?
A Netflix implementou sistemas rigorosos de monitoramento e medição para acompanhar seus custos da AWS. Ele usa várias ferramentas e tecnologias para analisar e otimizar seus gastos com nuvens, garantindo a máxima eficiência e custo-efetividade.
5. Como a Netflix usa microsserviços?
A Netflix utiliza uma arquitetura de microsserviços, dividindo seus aplicativos em serviços pequenos e independentes. Isso permite escalabilidade, flexibilidade e desenvolvimento mais rápido, permitindo que a Netflix ofereça experiências de streaming contínuas a milhões de usuários em todo o mundo.
6. Por que a Netflix escolheu aws?
A Netflix escolheu a AWS como seu principal provedor de nuvem devido à sua escalabilidade, confiabilidade e gama abrangente de serviços. A AWS ofereceu a infraestrutura e as ferramentas necessárias para apoiar o crescimento exponencial da Netflix e proporcionar uma experiência de streaming excepcional aos seus usuários.
7. Como funciona a transcodificação na arquitetura da Netflix?
Transcoding é o processo de conversão de arquivos de vídeo de um formato para outro para garantir a compatibilidade em diferentes plataformas e dispositivos. A Netflix usa a Transcoding para tornar sua vasta biblioteca de conteúdo visível em vários dispositivos, permitindo que os usuários transmitam seus programas favoritos perfeitamente.
8. Como a Netflix lida com armazenamento na AWS?
A Netflix aproveita os serviços de armazenamento da AWS, como a Amazon S3, para armazenar sua enorme biblioteca de conteúdo de vídeo. Esses serviços fornecem alta durabilidade, disponibilidade e escalabilidade, garantindo que a Netflix possa fornecer conteúdo a milhões de espectadores sem interrupção.
9. Como a Netflix garante uma experiência de streaming perfeita?
A Netflix implanta várias técnicas, como redes de entrega de conteúdo (CDNs) e streaming adaptativo, para garantir uma experiência de streaming perfeita para seus usuários. CDNs distribuem o conteúdo geograficamente, reduzindo a latência e melhorando a velocidade de reprodução, enquanto o streaming adaptativo ajusta a qualidade do vídeo com base na conexão com a Internet do espectador.
10. Como a Netflix lida com gerenciamento de banco de dados na AWS?
A Netflix utiliza serviços de banco de dados da AWS, como Amazon DynamoDB e Amazon Redshift, para gerenciar sua grande quantidade de dados do usuário, metadados de conteúdo e análise. Esses serviços oferecem alto desempenho, escalabilidade e confiabilidade para as necessidades de banco de dados da Netflix.
No geral, a arquitetura da AWS da Netflix desempenha um papel fundamental na prestação de seus renomados serviços de streaming a milhões de usuários em todo o mundo. O uso estratégico de serviços da AWS, monitoramento de custos rigoroso da empresa e infraestrutura eficiente permite que a Netflix forneça uma experiência de streaming excepcional, gerenciando seus custos efetivamente.
Netflix Architecture: quanto custa a AWS da Netflix
Transcoding é o processo que converte um arquivo de vídeo de um formato para outro, para tornar os vídeos visíveis em diferentes plataformas e dispositivos.
Netflix usa Amazon S3
О эээ сйранibus
Ы з ззарегиgléria. С помощью этой страницы мы сможем определить, что запросы отправляете именно вы, а не робот. Почpels эээ моогitu произойth?
Эта страница отображается в тех случаях, когда автоматическими системами Google регистрируются исходящие из вашей сети запросы, которые нарушают Условия использования. Ponto. Ээth момо номттаая и оозз илэз и ээ и эз и эз и з и ззз и зз и ээз и ээз иth ээ эth ээзз эth эзз иthлз ио и зз и иth эз иээ эээо иth эз эээ ээо ээоо иth иэзз эth эзт эth эз ио эээ иth эз иэз иthлзз иоз ил иээ иээо иэээ иээо иth ио иээ эth иэ иээ эth иэ иээ эth ио иэ ээог seguir.
Ит и и и и и и и и и чззжfia м ирржжжfia м иржжжжfia м мжжжжжж<ь м м иржжжfia. não. Если вы используете общий доступ в Интернет, проблема может быть с компьютером с таким же IP-адресом, как у вас. Орратитеitivamente к с о и и с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с с а с с а с а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а а ”. ПодробнÉ.
Проверка по слову может также появляться, если вы вводите сложные запросы, обычно распространяемые автоматизированными системами, или же вводите запросы очень часто.
Arquitetura da Netflix: quanto custa a AWS da Netflix?
Descubra quanto custa a conta da AWS da Netflix e o monstro de eficiência por trás de tudo, a arquitetura da AWS da Netflix AWS.
2 de junho de 2021 | Por: Equipe CloudZero |
Se a Netflix fosse uma série, seria um sucesso de bilheteria. Cada estação seria nada menos que dramática para desgosto dos investidores.
Quero triturar alguns números?
O serviço de streaming de vídeo teve US $ 11.5 bilhões de avaliação em janeiro de 2011. Tinha cerca de 26 milhões de assinantes no final daquele ano. Dez anos depois, a Netflix informou que tinha cerca de 204 milhões de assinantes e uma avaliação de mais de US $ 220 bilhões.
O gigante de Los Gatos, CA, ganhou US $ 25 bilhões em 2020 em receita anual. A Netflix também deu as boas -vindas apenas a 37 milhões de assinantes pagos em 2020, um novo recorde.
No entanto, com todo esse sucesso e um grande número de assinantes, você pode estar se perguntando o que a Netflix paga em seus custos da AWS. Toda essa atividade certamente será responsável por alguns gastos sérios?
Felizmente para você, temos a resposta! Neste artigo, abordaremos o quanto a Netflix gasta na AWS, onde vai esse dinheiro, como eles medem e monitoram seus custos de nuvem e a arquitetura por trás de tudo.
Índice
- A Netflix é lucrativa em 2021?
- Quanto a Netflix gasta na AWS?
- Como a Netflix usa seus gastos com aws?
- Como o Netflix monitora e mede os custos da AWS?
- Como a Netflix usa microsserviços?
- Por que a Netflix escolheu aws?
A Netflix é lucrativa em 2021?
Netflix fez uma receita operacional de US $ 4.6 bilhões em 2020. Mas tinha apenas $ 1.9 bilhões em fluxo de caixa livre positivo para esse ano. No entanto, essa foi uma melhoria enorme, porque acabara de sair de US $ 3 espinhos.3 bilhões de situações de fluxo de caixa livre negativo em 2019. Ele também tinha uma dívida colossal de US $ 15 bilhões no início de 2021.
Mas o serviço de streaming afirma que não é uma casa de cartas. Espera quebrar, mesmo em termos de fluxo de caixa até o final de 2021.
Então você pode se perguntar, onde a Netflix gasta seus bilhões?
- Contente
- Conteúdo original
- Conteúdo licenciado
- Marketing
Mas lá’s Outra categoria de investimento que não’T recebi tanta atenção, pelo menos em Wall Street: Netflix AWS Custos.
A arquitetura da AWS da Netflix é um gênio dos microsserviços que vale a pena cavar neste post.
Quanto a Netflix gasta na AWS?
Netflix’Os gastos com a nuvem permaneceram em segredo por mais tempo, até agora. Várias fontes estimam que a Netflix AWS custa US $ 9.6 milhões por mês em 2019.
Mas esse número é muito menor do que o serviço de streaming de vídeo planeja gastar nos próximos 36 meses.
Netflix revelou que gastaria mais de US $ 1 bilhão em “Serviços de streaming e custos de computação em nuvem” até 2023. Isso seria uma média da Netflix’S AWS Cloud Services custa em mais de US $ 27.78 milhões por mês.
Não é de admirar que a Amazon possua a Netflix como seu maior cliente da AWS regularmente, apesar de possuir um serviço concorrente no Amazon Prime. Em comparação, o Airbnb planeja gastar US $ 1.2 bilhões em serviços da Web da AWS antes de 2027, que em média de US $ 16.67 milhões por mês.
O Slack também usa os serviços em nuvem da AWS como seu principal provedor de nuvem. Ele se comprometeu a gastar US $ 450 milhões a 2025. Isso começará com US $ 75 milhões em 2021 e aumentará US $ 5 milhões a cada ano, com média de US $ 6.25 milhões por mês em gastos com a AWS.
Como a Netflix usa seus gastos com aws?
Netflix usa a AWS para quase tudo o que a computação em nuvem. Isso inclui armazenamento on -line, mecanismo de recomendação, transcodificação de vídeo, bancos de dados e análise. Portanto, a maioria dos US $ 1 bilhão da Netflix planeja gastar em serviços em nuvem irá para os serviços da Amazon Cloud.
Quanto custa a fatura da AWS da Netflix reflete sua utilização de mais de 100.000 instâncias de servidores, de acordo com os Serviços da Web da Amazon.
Para processar o tráfego colossal, seus assinantes globais geram, a Netflix usa mais de 1.000 shards da Amazon Kinesis em paralelo.
Mas isso foi em 2017 antes que a Netflix cresça para 204 milhões de assinantes até o final de 2020.
Fica interessante, no entanto:
- Cerca de 83% dos novos assinantes estão fora dos Estados Unidos e Canadá.
- Sete milhões de novos assinantes ingressaram na Netflix no primeiro trimestre, 2021.
- Netflix está lançando 71 filmes em 2021 sozinho. Isso é mais de um novo filme por semana.
- Os principais concorrentes, como Disney+, Paramount+e Peacock, podem comer no Netflix’S lucros daqui para frente. Por exemplo, a Disney+ tinha 7 em cada 10 dos filmes mais transmitidos em 2020.
- A Netflix também quer se tornar uma empresa lucrativa e autofinanciadora a partir de agora.
- Mas recomprará as ações dos investidores em 2021/2022.
O que isso significa para Netflix?
Primeiro, enquanto a empresa planeja gastar menos em conteúdo, marketing e custos de crédito, sua conta da AWS vai subir apenas para cima. Segundo, a empresa precisa obter lucros líquidos mais altos para não apenas apaziguar os acionistas, mas também poder evitar o financiamento externo para suas operações diárias.
Como alternativa, ele precisa economizar custos para se dar ao luxo de se manter competitivo em um mercado cada vez mais competitivo.
É por isso que equilibrar o custo-efetividade e a escala é uma questão de sucesso ou fracasso para a Netflix. No entanto, a empresa de streaming disse que definir orçamentos e outros corrimões pesados para limitar seus engenheiros’ gastar é ambos “ineficaz” e “contracultural”.
Então a Netflix permite que os desenvolvedores se desenvolvam. Mas não ignora os custos de computação em nuvem.
Como o Netflix monitora e mede os custos da AWS?
A equipe da Netflix sabe que os custos de nuvem merecem ser uma métrica de primeira classe. Isso significa que eles o tratam como qualquer outra requisito de engenharia métrica ou não funcional de desempenho.
Para fornecer visibilidade de custo total, a empresa implanta um painel de dados personalizado. O painel de eficiência serve como um loop de feedback transparente para seus consumidores e produtores de dados. Créditos da Netflix de mesclagem e contexto de uso por meio de painéis para sua arquitetura econômica.
O painel personalizado ajuda a fornecer consciência de custo e custo para cada equipe.
Netflix consegue:
- Relatar dados de cobrança da AWS em um contexto que faz sentido
- Use um painel personalizado para retransmitir o contexto de custo para cada equipe
- Melhorar a visibilidade dos custos de dados, empurrando informações relevantes para tomadores de decisão relevantes
Para apreciar o tamanho de um acordo, considere as quantidades de dados e diferentes plataformas que a Netflix precisa para se agregar em um só lugar, calcular e enviar aos engenheiros para que possam criar estratégias de otimização de custos em nuvem de trabalho.
Aqui está um colapso rápido.
O serviço de streaming de vídeo geralmente usa dois tipos de plataformas de dados; dados em movimento e dados em repouso. Enquanto a primeira categoria de custo envolve o processamento de dados transitórios, os dados em sistemas REST envolvem custos físicos de armazenamento de dados. Ambos os custos incluem gastos com infraestrutura.
Os gastos com armazenamento de dados da Netflix vão para plataformas como S3 Data Warehouse, AWS RDS, Hive, Druid, Elasticsearch e Snowflake.
Por outro lado, a Netflix gasta em Keystone, Windnch, Mantis, Kafka, Spark e Presto para processar dados em movimento.
Crédito: Netflix eficiência do painel Data Flow, Netflix Tech Blog
Agora imagine isso.
A Netflix obtém seus dados de cobrança da AWS através do relatório de custo e uso da AWS, como todos os outros. Você deve saber que os dados podem ser difíceis de obter informações de negócios significativas se você os consome via S3 ou CSV. É ainda mais desafiador para os tomadores de decisão que não são cientistas de dados.
É aí que Netflix’O painel de eficiência S entra. Ele retransmite custos em todas as suas plataformas, mesmo dividindo o fluxo de dados em insights de negócios sensíveis.
A partir daí, os tomadores de decisão podem dizer para onde seus gastos com nuvens estão indo.
Netflix’O painel personalizado fornece algumas recomendações de otimização de custos, que você não’t Obtenha em seu relatório de cobrança da AWS. Embora você possa usar tags para revelar itens de cobrança que se relacionam, a técnica pode não mostrar como vários recursos faturáveis são mapeados para o que importa para o seu negócio .
Você precisaria de uma solução de visibilidade de custo melhor para associar custos específicos a uma equipe, produto, serviço ou departamento específico. Dessa forma, você determinaria quanto custa construir e executar vários elementos do seu negócio.
Tudo sem precisar empregar equipes de cientistas e engenheiros sofisticados de dados da Netflix’s escala. O que você pode fazer como a Netflix é fornecer contextos relevantes para as pessoas que tomam decisões tecnológicas em tempo quase real.
Com a inteligência em tempo real, você pode colocar a engenharia no controle dos custos de nuvem. Eles podem monitorar e medir as métricas e as engrenagens de suas unidades na AWS para cultivar suas margens.
Aqui está um exemplo.
CloudZero trabalha com o FruitLab, uma plataforma de mídia social e streaming para jogadores. Como a Netflix, o FruitLab se concentrou em reduzir o custo de entregar vídeos para seus usuários para maximizar sua receita.
Ao contrário da Netflix, eles não fizeram’T tem uma equipe de engenheiros que eles podem tirar seu roteiro.
Então eles precisavam de uma solução de visibilidade de custo da AWS que faça sentido dos intermináveis logs de dados padrão nos relatórios de cobrança da AWS. CloudZero ajudou o fruitklab a reduzir o custo de entrega de cada fluxo em 18%.
CloudZero usa um processo orientado a ML para ajudar a construir esses mapeamentos de contexto, mesmo quando você não’T tem uma excelente cobertura de tags em suas contas – e pode até aplicar metadados de marcação a recursos invasores.
Netflix’A abordagem do painel de eficiência S ajudou a reduzir a pegada de armazenamento de data warehouse em 10%. Essa é uma margem significativa, considerando a escala na qual a arquitetura de microsserviços da Netflix funciona na AWS.
Como funciona a arquitetura da AWS da Netflix?
A Netflix usa uma arquitetura de microsserviços na AWS. A arquitetura de microsserviços ajuda uma organização a escalar sem trabalho adicional. Também ajuda a manter uma operação econômica na nuvem e elimina uma única fonte de falha, mesmo que os engenheiros mudem de várias áreas de serviço de uma só vez.
Netflix sofreu uma grande interrupção em agosto de 2008. Isso era quando usava arquitetura monolítica e data centers privados.
A corrupção do banco de dados significava que eles não podiam vender DVDs por três dias seguidos.
Esse incidente acordou a Netflix para perceber que precisava usar um modelo de implantação contínuo e aplicativos desacoplados para evitar interrupções futuras.
Eles impediriam interrupções de prestação de serviços usando vários serviços menores que corriam de forma independente, em vez de uma única pilha vulnerável.
Como a Netflix usa microsserviços?
O uso de microsserviços também ajudaria seus engenheiros a melhorar as aplicações independentes rapidamente e a qualquer momento. Alterações feitas em um microsserviço não esmagariam toda a operação.
Seus engenheiros podem experimentar idéias de design novas sem afetar todo o serviço da Netflix’S Performance.
Essa agilidade ajudou o serviço de streaming de vídeo a inovar mais rápido e econômico, levando à engenharia do caos, spinnaker e nuvem global, bem como ao crescimento sem precedentes que Netflix vê hoje.
A Netflix usa mais de 1.000 microsserviços agora.
Cada aplicativo implantado controla um aspecto específico da operação colossal da Netflix.
Por exemplo, um microsserviço exclusivo controla cada uma dessas operações:
- Crie uma lista de menu principal de filmes
- Determine seu status de assinatura para fornecer conteúdo relevante para esse nível de assinatura
- Use o histórico do seu relógio para recomendar vídeos que você possa gostar
- Faça o seu cartão de crédito na hora de renovar seu plano Netflix
- Mantenha o controle do aparelho de entrega de conteúdo de melhor desempenho (CDA) perto de você, caso o que você esteja fica superlotado ou falhe
- Migre automaticamente você para um CDA com a conexão com a Internet mais forte
- Armazene uma cópia digital de arquivos originais de qualidade de cinema nos servidores da AWS
- Certifique -se de que outro conjunto de servidores da AWS converta a cópia original em qualidades de vídeo, formatos, tamanhos e áudio que podem ser reproduzidos perfeitamente em todos os tipos de dispositivos, de dispositivos móveis a TVs inteligentes e equipamentos de jogo
- Determine em qual dispositivo você está assistindo à Netflix e forneça o formato de vídeo relevante para aumentar sua experiência de visualização
- Adicione marcadores de direitos autorais a todos os arquivos (gerenciamento de direitos digitais)
Essas são apenas dez maneiras pelas quais a Netflix usa uma arquitetura de microsserviços a seu proveito. Existem mais de 990 maneiras mais.
Por que a Netflix escolheu aws?
A Netflix também estava lutando com problemas de escala em sua arquitetura anterior. Precisava de uma solução que não os limite à escala vertical.
Ele queria escalar horizontalmente, ter tempo de atividade confiável e manter os gastos com a nuvem econômicos. AWS forneceu esse tipo de plataforma de nuvem.
O uso da nuvem pública da AWS significou que a Netflix poderia se concentrar em seus negócios principais; streaming de vídeo. Não precisou gastar bilhões na construção de data centers de classe mundial para escalar sua arquitetura anterior.
Com a AWS, a Netflix permite que os desenvolvedores usem as melhores práticas de implantação contínua para melhorar as experiências dos clientes, tornando-se o maior serviço de transmissão de vídeo de todos os tempos.
Otimize sua infraestrutura como a Netflix
Que’está tudo bem e bom para a Netflix, mas e se você não’T tem milhões de dólares e equipes inteiras que você pode dedicar a otimizar seus custos de nuvem – muito menos a criação de sua própria ferramenta de gerenciamento de custos?
Felizmente, você não precisa ter uma equipe de cientistas de dados para melhorar sua visibilidade de custo da AWS. Você pode usar uma solução de inteligência de custos em nuvem para cavar sua conta da AWS e entender o que está gastando e por que.
Drift usou CloudZero para economizar $ 1.8 milhões em custos anuais de nuvem. A plataforma de marketing de conversação trabalhou com o CloudZero como uma ferramenta e não uma equipe de engenheiros e cientistas de dados, ao contrário do Netflix. Como resultado, o Drift reduziu seus custos da AWS em até US $ 150.000 por mês com o CloudZero.
Conectar os pontos entre seus produtos e custos da AWS também pode ajudá -lo a permanecer no controle de sua conta da AWS. CloudZero oferece uma plataforma de otimização de custos em tempo real que informa proativamente as alterações para que você possa tomar medidas oportunas para otimizar seus gastos com aws.
Converse conosco hoje sobre como fornecer dados de custo relevantes diretamente aos seus engenheiros para melhorar sua visibilidade de custo da nuvem em tempo real e reduzir sua conta da AWS ao longo do tempo.
Netflix usa Amazon S3
Segunda -feira, 11 de dezembro de 2017 às 8:56
Este artigo é um capítulo do meu novo livro, explique a nuvem como se eu fosse 10. O primeiro lançamento foi escrito especificamente para novatos em nuvem. Fiz algumas atualizações e adicionei alguns capítulos –Netflix: o que acontece quando você pressiona o jogo? e O que é computação em nuvem?-Isso nivelá -lo até alguns carrapatos após iniciantes. Eu acho que até pessoas bem experientes podem tirar algo disso.
Eu também criei uma versão um tanto expandida do artigo em um ebook independente do Kindle. Você pode encontrar o e -book na Netflix: o que acontece quando você pressiona o play?
Então, se você está procurando uma boa introdução à nuvem ou conhece alguém que é, por favor, dê uma olhada. Eu acho que você vai gostar. Estou muito orgulhoso de como acabou.
Reuni este capítulo de dezenas de fontes que às vezes eram um pouco contraditórias. Fatos no solo mudam com o tempo e dependem quem está contando a história e qual público está abordando. Eu tentei criar uma narrativa tão coerente quanto pude. Se houver algum erro, ficaria mais do que feliz em consertá -los. Lembre -se de que este artigo não é um mergulho profundo técnico. É um artigo do tipo de imagem geral. Por exemplo, não mencionei a palavra microsserviço pelo menos uma vez 🙂
Netflix parece tão simples. Pressione Play and Video aparece magicamente. Fácil, certo? Não muito.
Dado nossa discussão no O que é computação em nuvem? Capítulo, você pode esperar que a Netflix sirva vídeo usando aws. Pressione Play em um aplicativo e vídeo da Netflix armazenados em S3 seriam transmitidos a partir do S3, pela Internet, diretamente para o seu dispositivo.
Uma abordagem completamente sensata … para um serviço muito menor.
Mas isso’não é como a Netflix funciona. Isto’é muito mais complicado e interessante do que você pode imaginar.
Para ver porque deixar’S Veja algumas estatísticas impressionantes da Netflix para 2017.
- Netflix tem mais de 110 milhões de assinantes.
- A Netflix opera em mais de 200 países.
- A Netflix tem quase US $ 3 bilhões em receita por trimestre.
- Netflix adiciona mais de 5 milhões de novos assinantes por trimestre.
- A Netflix toca mais de 1 bilhão de horas de vídeo a cada semana. Como comparação, o YouTube transmite 1 bilhão de horas de vídeo diariamente Enquanto o Facebook transmite 110 milhões de horas de vídeo todos os dias.
- Netflix jogou 250 milhões de horas de vídeo em um único dia em 2017.
- A Netflix é responsável por mais de 37% do pico de tráfego na Internet nos Estados Unidos.
- A Netflix planeja gastar US $ 7 bilhões em novo conteúdo em 2018.
O que aprendemos?
Netflix é enorme. Eles’REM GLOBAL, eles têm muitos membros, eles jogam muitos vídeos e têm muito dinheiro.
Outro fato relevante é o Netflix é baseado em assinatura. Os membros pagam a Netflix mensalmente e podem cancelar a qualquer momento. Quando você pressiona o play para relaxar na Netflix, ele teve um trabalho melhor. Membros infelizes cancelam a inscrição.
Nós’estou indo profundamente
Netflix é um exemplo fantástico de todas as idéias que’falei sobre, e é por isso que este capítulo entra muito mais detalhes do que os outros serviços em nuvem nós’coberto.
Uma grande razão para mergulhar mais na Netflix é que eles disponibilizam muito mais informações do que outras empresas.
A Netflix é mantida comunicação como um valor cultural central. Netflix mais do que faz jus aos seus padrões.
Na verdade, eu’D gostaria de agradecer à Netflix por ser tão aberto sobre sua arquitetura. Ao longo dos anos, a Netflix deu centenas de palestras e escreveu centenas de artigos sobre os trabalhos internos de como eles operam. Toda a indústria é melhor para isso.
Outro motivo para entrar em tantos detalhes na Netflix é a Netflix é simplesmente fascinante. A maioria de nós usou o Netflix ao mesmo tempo ou outro. Quem não faria’Adoro espreitar atrás da cortina para ver o que faz da Netflix tick?
A Netflix opera em duas nuvens: AWS e Open Connect.
Como a Netflix mantém seus membros felizes? Com a nuvem, é claro. Na verdade, o Netflix usa duas nuvens diferentes: AWS e Open Connect.
Ambas as nuvens devem trabalhar juntas sem problemas para fornecer inúmeras horas de vídeo agradável ao cliente.
As três partes da Netflix: Cliente, Back -end, Rede de Entrega de Conteúdo (CDN).
Você pode pensar no Netflix como dividido em três partes: o cliente, o back -end e a rede de entrega de conteúdo (CDN).
O cliente é a interface do usuário em qualquer dispositivo usado para navegar e reproduzir vídeos da Netflix. Pode ser um aplicativo no seu iPhone, um site no seu computador de mesa ou mesmo um aplicativo na sua TV inteligente. A Netflix controla todos os clientes para cada dispositivo.
Tudo o que acontece antes de você bater jogar acontece no Processo interno, que corre na AWS. Isso inclui coisas como preparar todos os novos pedidos de vídeo e manuseio de todos os aplicativos, sites, TVs e outros dispositivos.
Tudo o que acontece depois que você bate jogar é tratado por Open Connect. Open Connect é Netflix’s Rede Global de Entrega Global de Conteúdo (CDN). Open Connect Stores Netflix Video em diferentes locais em todo o mundo. Quando você pressiona a reprodução dos fluxos de vídeo do Open Connect, para o seu dispositivo e é exibido pelo cliente. Vestir’T se preocupar; nós’Eu falarei mais sobre o que um CDN é um pouco mais tarde.
Curiosamente, na Netflix, eles não’t Digo Hit Play On Video, eles dizem Clicando em Iniciar em um título. Cada indústria tem sua própria linguagem.
Ao controlar todas as três áreas – client, back -end, CDN – a Netflix alcançou integração vertical completa.
A Netflix controla sua experiência de visualização de vídeo do começo ao fim. Que’é por isso que funciona quando você clica em reproduzir de qualquer lugar do mundo. Você obtém com segurança o conteúdo que deseja assistir quando quiser assistir.
Deixar’s ver como a Netflix faz isso acontecer.
Em 2008, a Netflix começou a se mudar para a AWS
Netflix lançado em 1998. No começo, eles alugaram DVDs pelo serviço postal dos EUA. Mas a Netflix viu que o futuro estava sob demanda por vídeo.
Em 2007, a Netflix apresentou seu serviço de vídeo sob demanda que permitia que os assinantes transmitissem séries de televisão e filmes no site da Netflix em computadores pessoais ou no software Netflix em uma variedade de plataformas suportadas, incluindo smartphones e tablets, players de mídia digital, consoles de videogame e TVs inteligentes.
Em uma nota pessoal, o streaming de vídeo sob demanda foi o futuro pode parecer óbvio. E foi. Eu trabalhei em algumas startups que tentaram fazer um produto de vídeo sob demanda. Eles falharam.
A Netflix conseguiu. Netflix certamente executou bem, mas eles estavam atrasados para o jogo, e isso os ajudou. Em 2007, a Internet era rápida o suficiente e barata o suficiente para suportar serviços de streaming de vídeo. Esse nunca foi o caso antes. A adição de largura de banda móvel rápida e de baixo custo e a introdução de dispositivos móveis poderosos, como smartphones e tablets, tornaram mais fácil e barato para qualquer um transmitir vídeo a qualquer momento de qualquer lugar. Tempo é tudo.
Netflix começou com seus próprios datacenters
O EC2 estava apenas começando em 2007, na mesma época em Netflix’S Serviço de streaming começou. Não havia como a Netflix ter lançado usando o EC2.
A Netflix construiu dois datacenters, localizados ao lado um do outro. Eles experimentaram todos os problemas sobre os quais conversamos nos capítulos anteriores.
Construir um datacenter é muito trabalho. Equipamento de pedidos leva muito tempo. Instalar e conseguir todo o equipamento que funciona leva muito tempo. E assim que eles conseguiram tudo o que ficariam sem capacidade, e todo o processo teve que começar de novo.
Os longos tempos de entrega para o equipamento forçaram a Netflix a adotar o que é conhecido como um Escala vertical estratégia. A Netflix fez grandes programas que foram executados em grandes computadores. Esta abordagem é chamada de construção de um monólito. Um programa fez tudo.
O problema é quando você’estou crescendo muito rápido como a Netflix; isto’é muito difícil de tornar um monólito confiável. E não era’t.
Uma interrupção de serviço fez com que a Netflix se mudasse para a AWS
Por três dias em agosto de 2008, a Netflix não pôde enviar DVDs por causa da corrupção em seu banco de dados. Isso era inaceitável. Netflix teve que fazer algo.
A experiência de construção de datacenters havia ensinado a Netflix uma lição importante – eles estavam’T bom em construir datacenters.
O que a Netflix era boa era entregar vídeo para seus membros. A Netflix prefere se concentrar em melhorar em entregar vídeo em vez de melhorar na construção de datacenters. Construir datacenters não era uma vantagem competitiva para a Netflix, entregar o vídeo é.
Naquela época, a Netflix decidiu se mudar para a AWS. A AWS estava apenas se estabelecendo, então a seleção da AWS foi uma jogada ousada.
A Netflix mudou -se para a AWS porque queria uma infraestrutura mais confiável. A Netflix queria remover um único ponto de falha de seu sistema. A AWS ofereceu bancos de dados altamente confiáveis, armazenamento e datacenters redundantes. Netflix queria computação em nuvem, então não seria’Temos que construir grandes monólitos não confiáveis mais. A Netflix queria se tornar um serviço global sem construir seus próprios datacenters. Nenhum desses recursos estava disponível em seus antigos datacenters e nunca seria.
Um motivo pelo qual a Netflix deu para a escolha da AWS foi que não’quero fazer qualquer Recebimento pesado indiferenciado. O levantamento pesado indiferenciado são aquelas que precisam ser feitas, mas não’T forneça qualquer vantagem para o negócio principal de fornecer uma experiência de observação de vídeo de qualidade. A AWS faz todo o levantamento pesado indiferenciado para Netflix. Isso permite que os Netflixians se concentrem em fornecer valor comercial.
Levou mais de oito anos para a Netflix concluir o processo de mudança de seus próprios datacenters para a AWS. Durante esse período, a Netflix aumentou seu número de clientes de streaming oito vezes. Netflix agora funciona em várias centenas de milhares de instâncias do EC2.
Netflix é mais confiável na AWS
Isto’não é como se a Netflix nunca tenha experimentado tempo de inatividade na AWS, mas no geral, seu serviço é muito mais confiável do que era antes.
Você não’T vejo queixas como essa com muita frequência:
Netflix é tão confiável agora porque eles’Tomei medidas extraordinárias para tornar seu serviço confiável.
A Netflix opera em três regiões da AWS: uma no norte da Virgínia, uma em Portland Oregon e outra na Irlanda de Dublin. Dentro de cada região, a Netflix opera em três zonas de disponibilidade diferentes.
A Netflix disse que não há planos de operar em mais regiões. Isto’é muito caro e complicado para adicionar novas regiões. A maioria das empresas opera em apenas uma região, muito menos dois ou três.
A vantagem de ter três regiões é que qualquer região pode falhar e as outras regiões entrarão em lidar com todos os membros da região fracassada. Quando uma região falha, a Netflix chama isso evacuando uma região.
Deixar’s usar um exemplo. Deixar’s dizer você’está assistindo a um novo Castelo de cartas Episódio em Londres Inglaterra. Porque isso’está mais próximo de Londres, é provável que seu dispositivo Netflix esteja conectado à região de Dublin.
O que acontece se toda a região de Dublin falhar? Isso significa que a Netflix deve parar de funcionar para você? Claro que não!
Netflix, depois de detectar o fracasso, redireciona você para a Virgínia. Seu dispositivo agora conversava com a região da Virgínia em vez de Dublin. Você pode nem perceber que houve um fracasso.
Com que frequência uma região da AWS falha? Uma vez por mês. Bem, uma região não faz’t realmente falha todos os meses. A Netflix executa testes mensais. Todo mês, a Netflix faz com que uma região falhe de propósito apenas para garantir que seu sistema possa lidar com falhas no nível da região. Uma região pode ser evacuada em seis minutos.
Netflix chama isso de seu Modelo de Serviços Globais. Qualquer cliente pode ser servido em qualquer região. Isso é incrível. E isso não’t Acontece automaticamente. A AWS não tem molho mágico para lidar com falhas na região ou atender clientes de várias regiões. A Netflix fez todo esse trabalho por conta própria. A Netflix é pioneira em descobrir como criar sistemas confiáveis usando várias regiões. EU’não estou ciente de nenhuma outra empresa que se esforce para tornar seu serviço tão confiável.
Outra vantagem de estar nessas três regiões é que ela dá à cobertura mundial da Netflix. A Netflix fez alguns testes e encontrou se você usar um aplicativo da Netflix em qualquer lugar do mundo, você’receberá um serviço rápido de uma dessas três regiões.
Netflix economiza dinheiro na AWS
Isso pode surpreender muitas pessoas, mas a AWS é mais barata para a Netflix. Os custos da nuvem por visualização de streaming acabaram sendo uma fração do custo de seus antigos datacenters.
Por que? A elasticidade da nuvem.
A Netflix poderia adicionar servidores quando precisava deles e devolvê -los quando não’t. Em vez de ter muitos computadores extras por aí que não fazem nada apenas para lidar com a carga de pico, a Netflix só tinha que pagar pelo que era necessário, quando era necessário.
Todas as coisas de que conversamos no O que é computação em nuvem? capítulo.
O que acontece na AWS antes de pressionar o jogo?
Qualquer coisa que não faça’t Envolve Serving Video é tratado na AWS.
Isso inclui computação escalável, armazenamento escalável, lógica de negócios, bancos de dados distribuídos escaláveis, processamento e análise de big data, recomendações, transcodificação e centenas de outras funções.
Vestir’Não se preocupe, você não’preciso entender o que são todas essas coisas, mas como você pode achar interessante, eu’eu os explicarei brevemente.
Computação escalável e armazenamento escalável.
Computação escalável é ec2 e armazenamento escalável é s3. Nada de novo para nós aqui.
Seu dispositivo Netflix – Iphone, TV, Xbox, Android Telefone, Tablet, etc.—Coa para um serviço Netflix em execução no EC2.
Veja uma lista de vídeos em potencial para assistir? Que’S o seu dispositivo Netflix entrando em contato com um computador no EC2 para obter a lista.
Peça mais detalhes sobre um vídeo? Que’s seu dispositivo Netflix entrando em contato com um computador no EC2 para obter os detalhes.
Isto’é como todos os outros serviços em nuvem nós’Falei sobre o livro.
Banco de dados distribuído escalável.
A Netflix usa o DynamoDB e o Cassandra para seus bancos de dados distribuídos. Não que esses nomes signifiquem qualquer coisa para você, eles’são apenas produtos de banco de dados de alta qualidade.
Base de dados. Um banco de dados armazena dados. Suas informações de perfil, suas informações de cobrança, todos os filmes que você’Já assisti, todo esse tipo de informação é armazenado em um banco de dados.
Distribuído. Distribuído significa que o banco de dados não’t rodar em um grande computador, ele é executado em muitos computadores. Seus dados são copiados para vários computadores, portanto, se um ou até dois computadores que mantêm seus dados falharem, seus dados estarão seguros. De fato, seus dados são copiados para as três regiões. Dessa forma, se uma região falhar, seus dados estarão lá quando a nova região estiver pronta para começar a usá -los.
Escalável. Escalável significa que o banco de dados pode lidar com tantos dados quanto você deseja colocar nele. Que’é uma das principais vantagens de ser um banco de dados distribuído. Mais computadores podem ser adicionados conforme necessário para lidar com mais dados.
Processamento e análise de big data.
Big data significa simplesmente lá’é muitos dados. Netflix coleta muitas informações. Netflix sabe o que todo mundo assistiu quando assistiu e onde estavam quando assistiram. A Netflix sabe quais vídeos os membros analisaram, mas decidiram não assistir. Netflix sabe quantas vezes cada vídeo foi assistido … e muito mais.
Colocar todos os dados em um formato padrão é chamado em processamento.
Entender todos esses dados são chamados análise. Os dados são analisados para responder a perguntas específicas.
Netflix personaliza a arte apenas para você.
Aqui’É um ótimo exemplo de como a Netflix o leva a assistir a mais vídeos usando seus recursos de análise de dados.
Ao navegar em busca de algo para assistir na Netflix, você notou lá’é sempre uma imagem exibida para cada vídeo? Que’s chamado de imagem de cabeçalho.
A imagem do cabeçalho deve intrigá -lo, para atraí -lo para selecionar um vídeo. A idéia é a imagem mais atraente da cabeceira, maior a probabilidade de você assistir a um vídeo. E quanto mais vídeos você assiste, menor a probabilidade de cancelar a inscrição na Netflix.
Aqui’é um exemplo de imagens de cabeçalho diferentes para Coisas estranhas:
Você pode se surpreender ao saber que a imagem mostrada para cada vídeo é selecionada especificamente para você. Nem todo mundo vê a mesma imagem.
Todo mundo costumava ver a mesma imagem de cabeçalho. Aqui’s como funcionou. Os membros foram mostrados em uma foto aleatória de um grupo de opções, como as fotos no acima Coisas estranhas colagem. Netflix contava toda vez que o vídeo era assistido, gravando qual imagem foi exibida quando o vídeo foi selecionado.
Para nós Coisas estranhas exemplo, deixe’s dizer quando a imagem do grupo no centro foi mostrada, Coisas estranhas foi assistido 1.000 vezes. Para todas as outras fotos, foi assistido apenas uma vez cada.
Como a foto do grupo era a melhor para fazer com que os membros assistam, a Netflix tornaria a imagem do cabeçalho para Coisas estranhas para sempre.
Isso é chamado de ser orientado a dados. A Netflix é conhecida por ser uma empresa orientada a dados. Os dados são coletados – nesse caso, o número de visualizações associadas a cada imagem – e usado para tornar as melhores decisões possíveis – neste caso, qual imagem do cabeçalho para selecionar.
Inteligente, mas você pode imaginar se sair melhor? Sim, usando mais dados. Que’é o tema do futuro – resolvendo problemas aprendendo com dados.
Você e eu provavelmente somos pessoas muito diferentes. Você acha que estamos motivados pelo mesmo tipo de imagem do cabeçalho? Provavelmente não. Temos gostos diferentes. Temos preferências diferentes.
Netflix sabe disso também. Que’é por isso que a Netflix agora personaliza todas as imagens que eles mostram. Netflix tenta selecionar a obra de arte destacando o aspecto mais relevante de um vídeo para você. Como eles fizeram isso?
Lembre -se, o Netflix registra e conta tudo o que você faz no site deles. Eles sabem que tipo de filmes você mais gosta, o que você mais gosta, e assim por diante.
Deixar’s dizer que uma de suas recomendações é o filme Boa vontade de caçar. Netflix deve escolher uma imagem do cabeçalho para mostrar a você. O objetivo é mostrar uma imagem que permite saber sobre um filme que você’provavelmente estarei interessado em. Qual imagem deve Netflix mostrar a você?
Se você gosta de comédias, a Netflix mostrará uma imagem com Robin Williams. Se você preferir filmes românticos, a Netflix mostrará uma imagem Matt Damon e Minnie Driver preparados para um beijo.
Ao mostrar Robin Williams, a Netflix está informando’É provável que seja humor no filme e porque a Netflix sabe que você gosta de comédias, este vídeo é uma boa combinação.
A imagem de Matt Damon e Minnie Driver transmite uma mensagem completamente diferente. Se você’Re um fã de comédia e vi esta imagem, você pode pular certo por.
Que’é por isso que selecionar a imagem do cabeçalho correto é tão importante. Ele envia um forte sinal personalizado, indicando o que é um filme.
Aqui’s Outro exemplo, Pulp Fiction.
Se você’Vê muitos filmes estrelando uma thurman, então você’provavelmente verá a imagem do cabeçalho com uma. Se você’Vê muitos filmes estrelados por John Travolta, então você’é provável que veja a imagem do cabeçalho com John.
Você pode ver como escolher a melhor obra de arte personalizada possível pode tornar você com maior probabilidade de assistir a um vídeo específico?
A Netflix apela aos seus interesses ao selecionar obras de arte, mas a Netflix não faz’também quero mentir para você. Eles não’quero mostrar uma imagem de isca de clique apenas para fazer você assistir a um vídeo que você pode não gostar. Lá’não é incentivo nisso. Netflix isn’t pago por vídeo assistido. Netflix tenta minimizar o arrependimento. Netflix quer que você fique feliz com os vídeos que assiste, para que eles escolham as melhores imagens de cabeçalho que podem para você.
Este é apenas um pequeno exemplo de como a análise de dados é usada pela Netflix. A Netflix usa esse tipo de estratégias em todos os lugares.
Recomendações.
Normalmente, a Netflix mostra apenas 40 a 50 opções de vídeo, mas eles têm muitos milhares de vídeos disponíveis.
Como a Netflix decide? Usando aprendizado de máquina.
Que’é parte do Processamento e análise de big data Acabamos de falar sobre. A Netflix analisa seus dados e prevê o que você’eu gosto. De fato, tudo o que você vê em uma tela Netflix foi escolhido especificamente para você usando o aprendizado de máquina.
Transcodificação da mídia de origem para o que você assiste
Aqui’S onde começamos a fazer a transição para a forma como o vídeo é tratado pela Netflix.
Antes de assistir a um vídeo no seu dispositivo de escolha favorito, a Netflix deve converter o vídeo em um formato que funciona melhor para o seu dispositivo. Este processo é chamado transcodificação ou codificação.
Transcoding é o processo que converte um arquivo de vídeo de um formato para outro, para tornar os vídeos visíveis em diferentes plataformas e dispositivos.
A Netflix codifica todo o seu vídeo na AWS em até 300.000 CPUs ao mesmo tempo. Que’é maior que a maioria dos super computadores!
A fonte da mídia de origem.
Quem envia vídeo para Netflix? Casas de produção e estúdios. Netflix chama este vídeo mídia de origem. O novo vídeo é dado ao Equipe de operações de conteúdo Para processamento.
O vídeo vem em um formato de alta definição que’s muitos terabytes em tamanho. Um terabyte é grande. Imagine 60 pilhas de papel tão altas quanto a Torre Eiffel. Que’é um terabyte.
Antes de poder ver um vídeo, a Netflix o coloca em um processo rigoroso de várias etapas.
Validando o vídeo.
A primeira coisa que a Netflix faz é gastar muito tempo validando o vídeo. Ele procura artefatos digitais, alterações de cores ou quadros ausentes que podem ter sido causados por tentativas anteriores de transcodificação ou problemas de transmissão de dados.
O vídeo é rejeitado se algum problema for encontrado.
No pipeline de mídia.
Depois que o vídeo é validado, ele’S se alimentou do que a Netflix chama de oleoduto de mídia.
A oleoduto é simplesmente uma série de etapas que os dados são colocados para prepará -los para uso, assim como uma linha de montagem em uma fábrica. Mais de 70 peças de software diferentes têm uma mão na criação de todos os vídeos.
Isto’Não é prático para processar um único arquivo de tamanho multi-terrabyte, então a primeira etapa do pipeline é dividir o vídeo em muitos pedaços menores.
Os pedaços de vídeo são então colocados através do oleoduto para que possam ser codificados em paralelo. Paralelamente significa simplesmente que os pedaços são processados ao mesmo tempo.
Deixar’s ilustrar o paralelismo com um exemplo.
Deixar’s Diga que você tem cem cães sujos que precisam de lavar. Que seria mais rápido, uma pessoa lavando os cães um após o outro? Ou seria mais rápido contratar cem arruelas de cães e lavá -las ao mesmo tempo?
Obviamente, isso’é mais rápido ter cem lavadoras de cães trabalhando ao mesmo tempo. Que’s paralelismo. E essa’é por isso que a Netflix usa tantos servidores no EC2. Eles precisam de muitos servidores para processar esses enormes arquivos de vídeo em paralelo. Funciona também. A Netflix diz que um arquivo de mídia de origem pode ser codificado e empurrado para a CDN em menos de 30 minutos.
Uma vez que os pedaços são codificados, eles’foi validado para garantir que nenhum novo problema tenha sido introduzido.
Então os pedaços são montados de volta em um arquivo e validados mais uma vez.
O resultado é uma pilha de arquivos.
O processo de codificação cria muitos arquivos. Por que? O objetivo final da Netflix é suportar todos os dispositivos conectados à Internet.
Netflix começou a transmitir vídeo em 2007 no Microsoft Windows. Com o tempo, foram adicionados mais dispositivos-ROKU, LG, Samsung Blu-ray, Apple Mac, Xbox 360, LG DTV, Sony PS3, Nintendo Wii, Apple iPad, Apple iPhone, Apple TV, Android, Kindle Fire e Comcast X1.
Ao todo, a Netflix suporta 2200 dispositivos diferentes. Cada dispositivo possui um formato de vídeo que parece melhor nesse dispositivo específico. Se você’está assistindo Netflix em um iPhone, você’verei um vídeo que lhe oferecer a melhor experiência de visualização no iPhone.
Netflix chama todos os diferentes formatos para um vídeo seu codificação de perfil.
A Netflix também cria arquivos otimizados para diferentes velocidades de rede. Se você’estou assistindo em uma rede rápida, você’verá um vídeo de maior qualidade do que você faria se você’estou vigiando uma rede lenta.
Também existem arquivos para diferentes formatos de áudio. O áudio é codificado em diferentes níveis de qualidade e em diferentes idiomas.
Também existem arquivos incluídos para legendas. Um vídeo pode ter legendas em vários idiomas diferentes.
Existem muitas opções de visualização diferentes para cada vídeo. O que você vê depende do seu dispositivo, da qualidade da sua rede, do seu plano da Netflix e da sua escolha de idioma.
Quantos arquivos estamos falando?
Para A coroa, A Netflix armazena em torno de 1.200 arquivos!
Coisas estranhas A segunda temporada tem ainda mais arquivos. Foi filmado em 8k e tem nove episódios. Os arquivos de vídeo de origem eram muitos, muitos terabytes de dados. Demorou 190.000 horas da CPU para codificar apenas uma temporada.
O resultado? 9.570 arquivos diferentes de vídeo, áudio e texto!
Deixar’s Veja como a Netflix toca todo esse vídeo.
Três estratégias diferentes para transmitir vídeo
A Netflix tentou três estratégias diferentes de streaming de vídeo sua própria CDN pequena; CDNs de terceiros; e aberto Connect.
Deixar’s começar definindo CDN. Um CDN é um Rede de distribuição de conteúdo.
Contente Para Netflix – é claro – os arquivos de vídeo discutimos na seção anterior.
Distribuição significa que os arquivos de vídeo são copiados de um local central, sobre um rede e armazenado em computadores localizados em todo o mundo.
Para Netflix, o local central onde os vídeos são armazenados é S3.
Por que construir um CDN?
A idéia por trás de um CDN é simples: coloque o vídeo o mais próximo possível dos usuários, espalhando computadores em todo o mundo. Quando um usuário quiser assistir a um vídeo, encontre o computador mais próximo com o vídeo e transmita para o dispositivo a partir daí.
Os maiores benefícios de um CDN são velocidade e confiabilidade.
Imagina você’está assistindo a um vídeo em Londres e o vídeo está sendo transmitido por Portland, Oregon. O fluxo de vídeo deve passar por muitas redes, incluindo um cabo submarino, para que a conexão seja lenta e não confiável.
Ao mover o conteúdo do vídeo o mais próximo possível das pessoas que assistem, a experiência de visualização será o mais rápido e confiável possível.
Cada local com um computador que armazena conteúdo de vídeo é chamado de pop ou ponto de presença. Cada pop é um local físico que fornece acesso à Internet. Ele abriga servidores, roteadores e outros equipamentos de telecomunicações. Nós’eu falarei mais sobre pops mais tarde.
O primeiro CDN foi muito pequeno
Em 2007, quando a Netflix estreou seu novo serviço de streaming, ele tinha 36 milhões de membros em 50 países, assistindo mais de um bilhão de horas de vídeo a cada mês, transmitindo vários terabits de conteúdo por segundo.
Para apoiar o serviço de streaming, a Netflix construiu sua própria CDN simples em cinco locais diferentes nos Estados Unidos.
O catálogo de vídeos da Netflix era pequeno o suficiente no momento em que cada local continha todo o seu conteúdo.
Os segundos CDNs eram grandes demais
Em 2009, a Netflix decidiu usar CDNs de terceiros. Nessa época, o preço para CDNs de terceiros estava caindo.
O uso de CDNs de terceiros fez todo o sentido para a Netflix. Por que gastar todo o tempo e esforço construindo um CDN próprio quando você pode alcançar instantaneamente o mundo usando os serviços CDN existentes?
A Netflix contratou empresas como akamai, holofotes e nível 3 para fornecer serviços de CDN. Lá’não é nada de errado em usar CDNs de terceiros. De fato, praticamente toda empresa faz. Por exemplo, a NFL usou akamai para transmitir jogos de futebol ao vivo.
Ao não construir sua própria CDN, a Netflix teve mais tempo para trabalhar em outros projetos de maior prioridade.
A Netflix dedicou muito tempo e esforço ao desenvolvimento de clientes mais inteligentes. A Netflix criou algoritmos para se adaptar às mudanças nas condições das redes. Mesmo diante de erros, redes sobrecarregadas e servidores sobrecarregados, a Netflix quer que os membros sempre visualizem o melhor filme possível. Uma técnica que a Netflix desenvolvida está mudando para uma fonte de vídeo diferente – digamos outro CDN ou um servidor diferente – para obter um resultado melhor.
Ao mesmo tempo, a Netflix também estava dedicando muito esforço a todos os serviços da AWS sobre os quais conversamos anteriormente. Netflix chama os serviços na AWS de seu plano de controle. O plano de controle é um termo de telecomunicações que identifica a parte do sistema que controla tudo o mais. No seu corpo, seu cérebro é o plano de controle; Controla tudo o mais.
Então a Netflix achou que poderia fazer melhor desenvolvendo -o’s próprio cdn.
Open Connect estava certo
Em 2011, a Netflix realizou em sua escala que precisava de uma solução CDN dedicada para maximizar a eficiência da rede. A distribuição de vídeo é uma competência central para a Netflix e pode ser uma grande vantagem competitiva.
Então a Netflix começou a desenvolver o Open Connect, seu próprio CDN construído para fins específicos. Open Connect lançado em 2012.
Open Connect tem muitas vantagens para o Netflix:
- Menos caro. CDNs de terceiros são caros. Fazer isso sozinho economizaria muito dinheiro.
- Melhor qualidade. Ao controlar todo o caminho de vídeo – codificação, CDN, clientes em dispositivos – a Netflix argumentou que poderia oferecer uma experiência superior de visualização de vídeo.
- Mais escalável. A Netflix tem o objetivo de fornecer serviço em todos os lugares do mundo. Apoiar rapidamente todas essas pessoas enquanto oferece uma experiência de visualização de vídeo de qualidade necessária para criar seu próprio sistema.
Os CDNs de terceiros devem apoiar os usuários que acessam qualquer tipo de conteúdo de qualquer lugar do mundo. Netflix tem um trabalho muito mais simples.
Netflix sabe exatamente quem são seus usuários porque devem se inscrever no Netflix. Netflix sabe exatamente quais vídeos precisam servir. Apenas saber que isso só precisa servir grandes fluxos de vídeo permite que a Netflix faça muitas opções de otimização inteligente que outros CDNs podem’t make. Netflix também sabe muito sobre isso membros. A empresa sabe quais vídeos eles gostam de assistir e quando gostam de assisti -los.
Com esse tipo de conhecimento, a Netflix construiu um CDN de alto desempenho. Deixar’S entra em mais detalhes sobre como funciona o Connect Open.
Aberto dos aparelhos de conexão
Lembre -se de como dissemos que um CDN tem computadores distribuídos em todo o mundo?
A Netflix desenvolveu seu próprio sistema de computador para armazenamento de vídeo. A Netflix os chama de aparelhos abertos de conexão ou OCAS.
Aqui’s como era uma instalação inicial da OCA em um site:
Existem muitos OCAs na imagem acima. OCAs são agrupados em grupos de vários servidores.
Cada OCA é um servidor rápido, altamente otimizado para entregar arquivos grandes, com muitos discos rígidos ou unidades flash para armazenar vídeo.
Aqui’s como é um dos servidores da OCA:
Existem vários tipos diferentes de OCAs para diferentes propósitos. Existem OCAs grandes que podem armazenar Netflix’s Todo o catálogo de vídeos. Existem OCAs menores que podem armazenar apenas uma parte do Netflix’s Catálogo de vídeos. OCAs menores são preenchidos com vídeo todos os dias, durante o horário de pico, usando um processo Netflix Chamadas Cachin proativog. Nós’Eu falarei mais sobre como o cache proativo funciona mais tarde.
De uma perspectiva de hardware, lá’não é nada de especial no OCAS. Eles’re baseado em componentes de PC de commodities e montados em casos personalizados por vários fornecedores. Você poderia comprar os mesmos computadores se quisesse.
Observe como toda a Netflix’s computadores são vermelhos? A Netflix tinha seus computadores feitos especialmente para combinar com a cor do logotipo.
Do ponto de vista do software, o OCAS usa o sistema operacional FreeBSD e o NGINX para o servidor da Web. Sim, todo OCA tem um servidor da web. Fluxos de vídeo usando nginx. Se nenhum desses nomes fizer sentido, não’T preocupado eu’estou apenas incluindo -os para a integridade.
O número de OCAs em um site depende de quão confiável a Netflix deseja que o site seja, a quantidade de tráfego da Netflix (largura de banda) que é entregue desse site e a porcentagem de tráfego que um site permite ser transmitido.
Quando você pressiona o jogo, você’está assistindo a streaming de vídeo de uma OCA específica, como o acima, em um local perto de você.
Para a melhor experiência possível de visualização de vídeo, o que a Netflix realmente gostaria de fazer é o vídeo em cache em sua casa. Mas isso’ainda não é prático. A próxima coisa a seguir é colocar um mini-netflix o mais próximo possível de sua casa. Como eles fizeram isso?
Onde a Netflix coloca os aparelhos Open Connect (OCAS)?
A Netflix oferece enormes quantidades de tráfego de vídeo de milhares de servidores em mais de 1.000 locais em todo o mundo. Dê uma olhada neste mapa dos locais de porção de vídeo:
Outros serviços de vídeo, como YouTube e Amazon, entregam vídeo em sua própria rede de backbone. Essas empresas literalmente construíram sua própria rede global para entregar vídeo aos usuários. Que’é muito complicado e muito caro de fazer.
A Netflix adotou uma abordagem completamente diferente para construir seu CDN.
Netflix não’t operar sua própria rede; não’t operar seus próprios datacenters. Em vez disso, os provedores de serviços de Internet (ISPs) concordam em colocar OCAs em seus datacenters. OCAs são oferecidos gratuitamente aos ISPs para incorporar em suas redes. A Netflix também coloca OCAs em ou perto de locais de troca da Internet (IXPS).
Usando esta estratégia Netflix não faz’Não preciso operar seus próprios datacenters, mas ele obtém todos os benefícios de estar em um datacenter regular’é apenas outra pessoa’s Datacenter. Gênio!
Esses dois últimos parágrafos foram bastante densos, então vamos’s quebrar.
Usando ISPs para construir um CDN.
Um ISP é o seu provedor de internet. Isto’s de quem você obtém seu serviço de internet. Pode ser Verizon, Comcast ou milhares de outros serviços.
O ponto principal aqui é que os ISPs estão localizados em todo o mundo e eles’estar perto dos clientes. Ao colocar OCAs nos datacenters do ISP, a Netflix também está em todo o mundo e perto de seus clientes.
Usando IXPs para construir um CDN.
Um local de troca de internet é um datacenter, onde ISPs e CDNs trocam tráfego da Internet entre suas redes. Isto’é como ir a uma festa para trocar presentes de Natal com seus amigos. Isto’é mais fácil de trocar presentes se todos estiverem em um só lugar. Isto’é mais fácil trocar tráfego de rede se todos forem um lugar.
IXPs estão localizados em todo o mundo:
Mapa de intercâmbio de internet da telegeografia
Aqui’s como é a troca de internet de Londres:
London Internet Exchange (Linx)
Perfure aqueles cabos de fibra óptica amarela e o que você’VELHE É ALGO COMO ESTE DO AMS-IX TRANCHAMENTO INTERNET PONTE, em Amsterdã, Holanda:
Cada fio na figura acima conecta uma rede a outra rede. Que’s como diferentes redes trocam tráfego entre si.
Um IXP é como um intercâmbio de rodovias, apenas usando fios:
Para Netflix, esta é outra vitória. IXPs estão em todo o mundo. Então, colocando o OCAS no IXPS, o Netflix não’Temos que executar seus próprios datacenters.
O vídeo é proativamente armazenado em cache para o OCAS todos os dias
Netflix tem todo esse vídeo em S3. Eles têm todos esses computadores de servir de vídeo espalhados por todo o mundo. Lá’está apenas uma coisa que está faltando: vídeo!
Netflix usa um processo que chama Cache proativo Para copiar com eficiência o vídeo para o OCAS.
O que é um cache?
Um cache é um esconderijo, especialmente um no chão, para munição, comida e tesouros.
Você sabe como os esquilos enterram nozes para o inverno?
Cada local que eles enterram nozes é um cache. Durante o inverno, qualquer esquilo pode encontrar um cache de nozes e se afastar.
Os exploradores do Ártico enviaram pequenas equipes à frente para armazenar alimentos, combustível e outros suprimentos ao longo da rota que estavam seguindo. A equipe maior a seguir para parar em cada local de cache e reabastecer.
Tanto os esquilos quanto os exploradores do Ártico estavam sendo proativo; Eles estavam fazendo algo antes do tempo para se preparar para mais tarde.
Cada OCA é um cache de vídeo do que você’provavelmente quero assistir.
Netflix cache vídeo prevendo o que você’Eu quero assistir.
Em todo o mundo, a Netflix sabe com um alto grau de precisão o que seus membros gostam de assistir e quando eles gostam de assistir. Lembre-se de como dissemos que a Netflix era uma empresa orientada a dados?
A Netflix usa seus dados de popularidade para prever Quais vídeos os membros provavelmente vão querer assistir amanhã em cada local. Aqui, localização significa um conjunto de OCAs alojados em um ISP ou IXP.
Netflix copia os vídeos previstos para um ou mais OCAs em cada local. Isso é chamado Prepositioning. O vídeo é colocado no OCAS antes mesmo de perguntar.
Isso oferece um ótimo serviço aos membros. O vídeo que eles querem assistir já está perto deles, pronto e disponível para streaming.
Netflix opera o que é chamado de Sistema de cache em camadas.
Os OCAs menores sobre os quais conversamos anteriormente são colocados em ISPs e IXPs. Estes são pequenos demais para conter todo o catálogo da Netflix de vídeos. Outros locais têm OCAs contendo a maior parte da Netflix’s Catálogo de vídeos. Ainda assim, outros locais têm grandes OCAs contendo todo o catálogo da Netflix. Estes recebem seus vídeos de S3.
Toda noite, cada OCA acorda e pede um serviço na AWS quais vídeos deveriam ter. O serviço na AWS envia ao OCA uma lista de vídeos’deveria ter baseado nas previsões de que conversamos anteriormente.
Cada OCA é responsável por garantir que tenha todos os vídeos em sua lista. Se um OCA no mesmo local tiver um dos vídeos’SUM TEM. Caso contrário, uma OCA próxima com o vídeo será encontrada e copiada.
Como a Netflix prevê o que será popular amanhã, lá’é sempre um tempo de entrega de um dia antes de um vídeo estar em uma OCA. Isso significa que os vídeos podem ser copiados durante o horário silencioso e fora do pico, reduzindo substancialmente o uso da largura de banda para ISPs.
Lá’nunca a Cache Miss em Open Connect. Uma falta de cache estaria pedindo um vídeo específico de uma OCA e da OCA dizendo que não’t tem. As malhas de cache acontecem o tempo todo em outros CDNs porque você pode’T Livence Copy Content em todos os lugares. Como a Netflix conhece todos os vídeos que deve armazenar em cache, ele sabe exatamente onde cada vídeo está o tempo todo. Se um OCA menor não faz’T tenho um vídeo, então um dos OCAs maiores sempre é garantido.
Por que não’t netflix apenas copie todo o seu vídeo para todos os OCA do mundo? Seu catálogo de vídeo é muito grande para armazenar tudo em todos os locais. Em 2013, o catálogo de vídeos da Netflix tinha mais de 3 petabytes; Não tenho ideia de quão grande é hoje, mas só posso assumir’é significativamente maior.
Que’é por isso que a Netflix desenvolveu o método de escolher quais vídeos armazenarem em cada OCA usando dados para prever O que seus membros vão querer assistir.
Deixar’s Tome um exemplo. Castelo de cartas é um show muito popular. Quais OCAs devem ser copiados para? Provavelmente todos os locais porque os membros em todo o mundo vão querer assistir a House of Cards.
E se um vídeo não for’T tão popular quanto House of Cards? Netflix decide para quais locais deve ser copiado para melhor atender solicitações de membro próximo.
Dentro de um local, um vídeo popular como House of Cards é copiado para muitos OCAs diferentes. Quanto mais popular um vídeo, mais servidores será copiado. Por que? Se houvesse apenas uma cópia de um vídeo muito popular, transmitir o vídeo para os membros sobrecarregaria o servidor. Como se costuma dizer, muitas mãos tornam a luz funcionar.
Um vídeo é’T considerado ao vivo quando’é copiado para apenas um OCA. Netflix quer poder jogar o mesmo conteúdo ao mesmo tempo em todo o mundo. Somente quando houver um número suficiente de OCAs com cópias suficientes do vídeo para servi -lo adequadamente, o vídeo será considerado ao vivo e pronto para os membros assistirem.
Temerário A segunda temporada de 2016, por exemplo, foi a primeira vez que a Netflix lançou todos os episódios de um programa, em todos os dispositivos, em todos os países, ao mesmo tempo.
Hospedando OCAS: o que’está nele para ISPs?
Por que um ISP concordaria em colocar um cluster de OCA dentro de sua rede? À primeira vista, parece muito generoso, mas você’ficarei feliz em saber disso’está enraizado firmemente no interesse próprio.
Para entender o porquê nós’Eu precisará falar sobre como as redes funcionam. Eu sei ao longo deste livro nós’disse que os serviços em nuvem são acessados pela Internet. Que’Não é o caso da Netflix, pelo menos ao assistir a um vídeo. Ao usar um aplicativo Netflix, ele fala com a AWS pela Internet.
A Internet é uma interconexão das redes. Você tem um ISP que fornece serviço de internet. Eu recebo meu serviço de internet da Comcast. O que isso significa é que minha casa se conecta à Comcast’s rede usando um cabo de fibra óptica. Comcast’A rede s é a rede deles; isto’não é a internet, a internet é outra coisa.
Deixar’S dizer que quero fazer uma pesquisa no Google e digito uma consulta no meu navegador e pressiona.
Meu pedido para o Google flui primeiro sobre a Comcast’s rede. Google isn’t na Comcast’s rede. Em algum momento, meu pedido tem que ir ao Google’s rede. Que’é para isso que é a internet.
A Internet conecta a Comcast’s Rede para o Google’s rede. Existem essas coisas chamadas protocolos de roteamento que agem como um policial de trânsito, direcionando para onde o tráfego da rede vai.
Quando minha consulta do Google é encaminhada para a internet, ela’não está na Comcast’s Rede mais, e isso’não está no Google’s rede. Isto’está no quê’s chamado de Backbone da Internet.
A Internet é tecida juntamente de muitas redes de propriedade privada que optam por interoperar entre si. Os IXPs que analisamos anteriormente são uma maneira de as redes se conectam.
Nos Estados Unidos, aqui’é um mapa da rede de fibras de longo curso:
Intertubos: um estudo da infraestrutura de fibra óptica de longo curso dos EUA
O que a Netflix fez com o Open Connect é colocado seus clusters de OCA dentro da rede ISPS. Isso significa se eu assistir a um vídeo da Netflix i’estarei conversando com uma OCA na Comcast’s rede. Todo o meu tráfego de vídeo está na Comcast’s rede; nunca atinge a internet.
A chave para escalar a entrega de vídeo é estar o mais próximo possível dos usuários. Quando você’estou fazendo isso você’não estou usando o backbone da Internet. Os pedidos estão sendo satisfeitos em uma parte local da rede.
Por que isso é uma coisa boa? Lembre -se de que dissemos que a Netflix já consome mais de 37% do tráfego da Internet nos Estados Unidos. Se os ISPs não fizeram’T cooperar, a Netflix usaria ainda mais a Internet. A internet não podia’t lide com todo o tráfego de vídeo. Os ISPs teriam que adicionar muito mais capacidade de rede, e que’é caro para construir.
No momento, até 100% do conteúdo da Netflix está sendo servido em redes ISP. Isso reduz os custos aliviando o congestionamento da Internet para ISPs. Ao mesmo tempo, os membros da Netflix experimentam uma experiência de visualização de alta qualidade. E o desempenho da rede melhora para todos.
Open Connect é confiável e resiliente
Anteriormente, discutimos como a Netflix aumentou a confiabilidade de seu sistema, ficando com três regiões diferentes da AWS. A arquitetura do Open Connect alcançou o mesmo objetivo.
O que pode não ser imediatamente óbvio é que os OCAs são independentes um do outro. OCAS atua como arquipélagos de vídeo auto-suficiente. Os membros que transmitem de um OCA não são afetados quando outros OCAs falham.
O que acontece quando um OCA falha? O cliente da Netflix você’está usando mudanças imediatamente para outro OCA e retoma o streaming.
O que acontece se muitas pessoas em um local usam um OCA? O cliente da Netflix encontrará um OCA mais levemente carregado para usar.
O que acontece se a rede que um membro estiver usando para transmitir vídeo ficar sobrecarregada? O mesmo tipo de coisa. O cliente da Netflix encontrará outro OCA em uma rede de melhor desempenho.
Open Connect é um sistema muito confiável e resiliente.
Netflix controla o cliente
A Netflix lida com falhas graciosamente porque controla o cliente em todos os dispositivos executando a Netflix.
A Netflix desenvolve seus aplicativos Android e iOS, para que você possa esperar que eles controlem aqueles. Mas mesmo em plataformas como TVs inteligentes, onde a Netflix não faz’T Construir o cliente, a Netflix ainda tem controle porque controla o kit de desenvolvimento de software (SDK).
Um SDK é um conjunto de ferramentas de desenvolvimento de software que permitem a criação de aplicativos. Todo aplicativo da Netflix faz solicitações para a AWS e reproduz vídeo usando o SDK.
Ao controlar o SDK, a Netflix pode se adaptar de forma consistente e transparente a redes lentas, OCAs com falha e quaisquer outros problemas que possam surgir.
Finalmente aqui’é o que acontece quando você pressiona o jogo
Isto’é uma longa estrada chegando aqui. Nós’Eu aprendi muito. Aqui’é o que nós’Aprendi até agora:
- A Netflix pode ser dividida em três partes: o back -end, o cliente e o CDN.
- Todos os pedidos dos clientes da Netflix são tratados na AWS.
- Todo o vídeo é transmitido de um Appliance Open Connect (OCA) nas proximidades no Open Connect CDN.
- A Netflix opera em três regiões da AWS e geralmente pode lidar com uma falha em qualquer região sem que os membros percebam.
- O novo conteúdo de vídeo é transformado pela Netflix em muitos formatos diferentes, para que o melhor formato possa ser selecionado para visualização com base no tipo de dispositivo, qualidade da rede, localização geográfica e membro’S Plano de assinatura.
- Todos os dias, Over Open Connect, a Netflix distribui vídeos em todo o mundo, com base no que eles prevêem que os membros em cada local desejam assistir.
Aqui’S uma imagem de como a Netflix descreve o processo de reprodução:
Agora deixe’está completo a imagem:
- Você seleciona um vídeo para assistir usando um cliente em execução em algum dispositivo. O cliente envia um jogar solicitar, indicando qual vídeo você deseja reproduzir, para a Netflix’s Aplicativos de reprodução Serviço em execução na AWS.
- Nós’Eu não falei sobre isso antes, mas uma grande parte do que acontece depois que você bateu tem a ver com licenciamento. Nem todos os locais do mundo têm uma licença para visualizar todos os vídeos. A Netflix deve determinar se você tem uma licença válida para visualizar um vídeo específico. Nós ganhamos’T FALE sobre como isso funciona – é’é realmente chato – mas lembre -se’está sempre acontecendo. Uma razão pela qual a Netflix começou a desenvolver seu próprio conteúdo é evitar problemas de licenciamento. Netflix quer lançar um show para todos no mundo, tudo ao mesmo tempo. Criar seu próprio conteúdo é a maneira mais fácil de a Netflix evitar se preocupar com problemas de licenciamento.
- Levando em conta todas as informações relevantes, o serviço de aplicativos de reprodução retorna URLs para até dez servidores diferentes da OCA. Estes são o mesmo tipo de URLs que você usa o tempo todo no seu navegador da web. A Netflix usa seu endereço IP e informações dos ISPs para identificar quais clusters de OCA são melhores para você usar.
- O cliente seleciona de forma inteligente qual OCA usar. Faz isso testando a qualidade da conexão de rede com cada OCA. Ele se conectará ao primeiro e mais confiável OCA mais confiável. O cliente continua executando esses testes durante todo o processo de streaming de vídeo.
- O cliente sonde para descobrir a melhor maneira de receber conteúdo da OCA.
- O cliente se conecta à OCA e começa a transmitir vídeo para o seu dispositivo.
- Você notou ao assistir a um vídeo a qualidade da imagem varia? Às vezes parecerá pixelizado e, depois de um tempo, a imagem está de volta à qualidade HD? Que’s porque o cliente está se adaptando à qualidade da rede. Se a qualidade da rede diminuir, o cliente diminui a qualidade do vídeo para combinar. O cliente mudará para outro OCA quando a qualidade diminuir demais.
Que’s o que acontece quando você pressiona o play na Netflix. Quem jamais pensaria uma coisa tão simples como assistir a um vídeo era tão complexo?
Artigos relacionados
- Em hackernews e em hackernews
- No Reddit e no Reddit
Estudo de caso da Netflix – como a AWS fez do Netflix funcionar sem costura?
Quem gosta de assistir filmes e séries ou documentários na internet está ciente deste aplicativo nomeado “Netflix”. É a maior empresa de serviços de entretenimento do mundo, com cerca de 193 milhões de usuários pagos com disponibilidade em cerca de 190 países.
Desafios
Em 2000, a Netflix tinha apenas 300.000 assinantes, mas dentro de 20 anos de base de clientes aumentou exponencialmente. A Netflix tem mais de 126 séries e filmes originais, que são mais do que qualquer outra rede e canal a cabo.
Isto’não é simples para transmitir mais de 250 milhões de horas de vídeos por dia. Nesta escala, fornecendo qualidade, entretenimento para todos os usuários em questão de segundos não é uma tarefa simples. E então vem o enorme tráfego de rede.
A Netflix usa a arquitetura de microsserviços. Em uma arquitetura de microsserviço, cada aplicativo ou microsserviço’s Código e Recursos são isso’é muito próprio. Não compartilhará nada disso com nenhum outro aplicativo por natureza. It is estimated that Netflix uses around 700 microservices to control each of the many parts of the entire Netflix service: one microservice store what all shows you watched, one deducts the monthly fee from credit card, one takes a look at your watching history and uses algorithms to guess a list of movies that you will like, and one will provide the names and images of these movies to be shown in a list on the main menu.
Solução
Para executar tudo isso, deve ter uma enorme rede de servidores que uma vez possuía a Netflix. Mas, à medida que clientes e conteúdos cresciam, tornou -se uma dor nas costas para a Netflix. Então eles decidiram executar tudo isso em servidores de outra pessoa que também lidarão com a manutenção do hardware. O alguém que eles escolheram não é nada além da AWS (Amazon Web Services).
A Netflix usa a AWS para quase todas as suas necessidades de computação e armazenamento, incluindo bancos de dados, análise, mecanismos de recomendação, transcodificação de vídeo e mais – centenas de funções que, no uso total, mais de 100.000 instâncias de servidor na AWS.
Serviços Os usos da Netflix da AWS são os seguintes:
- AWS EC2 (instâncias de computação escalável)
- AWS S3 (armazenamento escalável)
- AWS DynamoDB (banco de dados distribuído escalável)
- AWS EMR (Processamento e análise de Big Data)
- AWS ELB (balanceador de carga)
- Amazon Kinesis
1) AWS EC2:- Amazon Elastic Compute Cloud (Amazon EC2) é um serviço da web que fornece capacidade de computação segura e redimensível na nuvem. Ele foi projetado para facilitar a computação em nuvem em escala na web para os desenvolvedores.
2) AWS S3 – O serviço de armazenamento simples da Amazon é armazenamento para a Internet. Ele foi projetado para facilitar a computação em escala da web para os desenvolvedores. A Amazon S3 possui uma interface simples de serviços da Web que você pode usar para armazenar e recuperar qualquer quantidade de dados, a qualquer momento, de qualquer lugar da web.
3) AWS DynamoDB – DynamoDB é um sistema de banco de dados da Amazon Web Services que suporta estruturas de dados e serviços em nuvem com valor -chave. Ele permite aos usuários o benefício de opções de cache de cache, backup e restaura de scaling automático, em memória para todos os seus aplicativos em escala na Internet usando o DynamoDB.
4) AWS EMR – Amazon Elastic MapReduce (EMR) é uma ferramenta Amazon Web Services (AWS) para processamento e análise de big data. A Amazon EMR oferece o serviço expansível de baixa configuração como uma alternativa mais fácil para executar computação interna de cluster.
5) AWS ELB – Um balanceador de carga aceita tráfego de clientes de clientes e rotas solicitações para suas metas registradas (como instâncias EC2) em uma ou mais zonas de disponibilidade. O balanceador de carga também monitora a saúde de suas metas registradas e garante que ele direcione o tráfego apenas para alvos saudáveis. Quando o balanceador de carga detecta um alvo prejudicial, ele para de rotear o tráfego para esse alvo. Em seguida, retoma o tráfego de roteamento para esse alvo quando detecta que o alvo está saudável novamente.
6) Amazon Kinesis: Amazon Kinesis Data Streams (KDS) é um serviço de streaming de dados em tempo real massivamente escalável e durável. . Os dados coletados estão disponíveis em milissegundos para permitir casos de uso de análise em tempo real, como painéis em tempo real, detecção de anomalia em tempo real, preços dinâmicos e muito mais.
Todos esses serviços da AWS mantêm o Netflix rápido e o serviço sem costura para os usuários.
