Duże filmy, Big Data: Netflix obejmuje NoSQL w chmurze

Akceptując wszystkie pliki cookie, zgadzasz się na korzystanie z plików cookie w celu dostarczania i utrzymywania naszych usług i witryny, poprawy jakości Reddit, personalizowanie treści i reklam Reddit oraz mierz skuteczność reklamy.

Streszczenie

Netflix, z 33 milionami subskrybentów w ponad 40 krajach, musiał dostosować swoje dane i strategie przechowywania w miarę wzrostu usług przesyłania strumieniowego. Firma migrowała z korzystania z bazy danych Oracle do bazy danych NoSQL Cassandra, poprawiając dostępność i eliminując przestoje spowodowane zmianami schematu bazy danych. Wraz ze wzrostem popytu na dostępność z powodu większej liczby klientów korzystających z usługi przesyłania strumieniowego Netflix, firma musiała ponownie ocenić swoje podejście do danych i pamięci.

Netflix początkowo używał bazy danych Oracle jako zaplecza dla usługi przesyłania strumieniowego. Jednak w miarę jak baza klientów i dane gwałtownie rosły, firma zdała sobie sprawę, że musi skalować i poprawić dostępność. Aby rozwiązać ten problem, Netflix przeniósł swoje dane do Amazon Web Services i zastąpił Oracle Apache Cassandra, bazę danych NoSQL open source znana ze skalowalności i niezawodności.

Jedną z głównych wad korzystania z centralnej bazy danych SQL, takiej jak Oracle, było ryzyko pojedynczego punktu awarii. Rozproszona architektura Cassandry zapewniła lepszą elastyczność w tworzeniu i zarządzaniu klastrami danych, szczególnie w chmurze. Migracja z Oracle do Cassandra wyeliminowała również potrzebę przestojów podczas zmian schematu, poprawę dostępności i skalowalności.

Dzisiaj Cassandra jest preferowaną bazą danych dla prawie wszystkich potrzeb danych Netflix, w tym informacji o koncie klienta, ocen filmów, metadanych, zakładek i dzienników. Korzystanie z Cassandry pozwoliło Netflix na skalowanie swoich usług na całym świecie, szybko reagując na zmiany i wymagania w różnych regionach świata.

Kluczowe punkty

1. Netflix migrował z używania Oracle do Cassandra jako swojej podstawowej bazy danych.

Przechodząc do Cassandra, Netflix poprawił dostępność i wyeliminował przestoje spowodowane zmianami schematu.

2. Szybki rozwój usługi przesyłania strumieniowego Netflix wymagał ponownej oceny strategii danych i przechowywania.

W miarę wzrostu bazy klientów i danych firma musiała skalować i zapewnić dostępność, aby zaspokoić rosnące zapotrzebowanie.

3. Rozproszona architektura Cassandry zapewnia lepszą elastyczność i skalowalność w porównaniu z centralną bazą danych SQL, taką jak Oracle.

Cassandra umożliwia Netflix szybkie tworzenie i zarządzanie klastrami danych, szczególnie w chmurze.

4. Netflix początkowo migrował swoje dane z Oracle do Amazon Simon rozproszonej bazy danych.

To pozwoliło Netflixowi zająć się ograniczeniami bazy danych SQL i przetestowanie skalowalności i niezawodności Cassandry.

5. Dzięki Cassandrze Netflix zyskał lepszą zwinność biznesową i zdolność do skalowania na całym świecie.

Netflix nie musi już z wyprzedzeniem planować pojemność i może szybko tworzyć klastry Cassandra w dowolnym regionie świata.

6. Zmiany schematu w Cassandra nie wymagają przestoju.

W przeciwieństwie do Oracle, nie ma schematów zmian w Cassandrze, eliminując przestoje i poprawę dostępności.

7. Netflix przechowuje 95% swoich danych w Cassandra.

Obejmuje to informacje o koncie klienta, oceny filmów, metadane, zakładki i dzienniki.

8. Podczas gdy zarządzanie wieloma instancjami Cassandra wymaga większej administracji, mają tendencję do pękania w różnych momentach.

Zapewnia to, że jednocześnie wpływają tylko małe elementy systemu, a nie na cały system.

9. Cassandra zapewnił Netflix możliwość szybkiego dostosowywania się i reagowania na zmieniające się wymagania i ekspansję rynku.

Netflix może łatwo skalować swoje usługi do nowych regionów, uwzględniając różne potrzeby i preferencje przesyłania strumieniowego.

10. Migracja do Cassandra była skuteczna dla Netflix, umożliwiając obsługę dużych ilości danych i utrzymanie niezawodnej usługi przesyłania strumieniowego.

Korzystanie z Cassandra pomogło Netflix utrzymać zadowolenie klientów i rozwinąć swój globalny zasięg.

pytania

1. Dlaczego Netflix migrował z Oracle do Cassandry?

Netflix migrował z Oracle do Cassandry, aby poprawić dostępność i wyeliminować przestoje podczas zmian schematu.

2. Jakie były wyzwania Netflix, przed którymi stoi baza danych SQL, taka jak Oracle?

Netflix stanął przed wyzwaniami, takimi jak pojedynczy punkt awarii, ograniczona skalowalność i przestoje podczas zmian schematu z Oracle.

3. W jaki sposób rozproszona architektura Cassandry korzysta z Netflix?

Rozproszona architektura Cassandry zapewnia lepszą elastyczność i skalowalność, umożliwiając Netflix szybkie tworzenie i zarządzanie klastrami danych, szczególnie w chmurze.

4. Jak Netflix początkowo przetestował skalowalność i niezawodność Cassandry?

Netflix początkowo migrował swoje dane z Oracle do Amazon Simon rozproszonej bazy danych.

5. Jakie zalety Cassandra oferuje Netflix pod względem zwinności biznesowej i globalnej skalowalności?

Cassandra zapewnia Netflix lepszą zwinność biznesową, ponieważ nie muszą już z wyprzedzeniem planować wydajność i mogą szybko tworzyć klastry w dowolnym regionie świata.

6. Dlaczego przestoje nie są już wymagane do zmian schematu w Cassandra?

Cassandra nie wymaga zmian schematu, eliminując potrzebę przestojów i poprawę dostępności.

7. Jaki procent danych Netflix jest przechowywany w Cassandra?

Prawie 95% wszystkich danych Netflix, w tym informacje o koncie klienta, oceny filmów, metadane, zakładki i dzienniki, jest przechowywane w Cassandra.

8. W jaki sposób zarządzanie wieloma instancjami Cassandra wpływa na administrację?

Chociaż wymaga większej administracji, zarządzanie wieloma instancjami Cassandra zapewnia, że ​​tylko małe elementy systemu są narazowe w przypadku awarii.

9. Jak Cassandra pozwoliła Netflixowi dostosować się i reagować na zmieniające się wymagania i ekspansję rynku?

Cassandra zapewnił Netflix możliwość szybkiej skalowania swoich usług do nowych regionów, uwzględniając różne potrzeby i preferencje przesyłania strumieniowego.

10. W jaki sposób migracja do Cassandra skorzystała na usłudze przesyłania strumieniowego Netflix?

Migracja do Cassandra pozwoliła Netflix obsługiwać duże ilości danych i utrzymywać niezawodną usługę przesyłania strumieniowego, zapewniając satysfakcję klientów i globalny wzrost.

Duże filmy, Big Data: Netflix obejmuje NoSQL w chmurze

Akceptując wszystkie pliki cookie, zgadzasz się na korzystanie z plików cookie w celu dostarczania i utrzymywania naszych usług i witryny, poprawy jakości Reddit, personalizowanie treści i reklam Reddit oraz mierz skuteczność reklamy.

Czy Netflix używa Oracle

Reddit i jego partnerzy używają plików cookie i podobnych technologii, aby zapewnić lepsze wrażenia.

Akceptując wszystkie pliki cookie, zgadzasz się na korzystanie z plików cookie w celu dostarczania i utrzymywania naszych usług i witryny, poprawy jakości Reddit, personalizowanie treści i reklam Reddit oraz mierz skuteczność reklamy.

Odrzucając nieistotne pliki cookie, Reddit może nadal używać niektórych plików cookie, aby zapewnić właściwą funkcjonalność naszej platformy.

Aby uzyskać więcej informacji, zapoznaj się z naszym powiadomieniem o plikach cookie i naszej polityki prywatności .

Pobierz aplikację Reddit

Zeskanuj ten kod QR, aby pobrać aplikację teraz

Lub sprawdź to w App Stores

r/oraclecloud

r/oraclecloud

Subreddit dla osób rozwijających lub architektowe rozwiązań w chmurze Oracle w PaaS lub IaaS.

Członkowie online

przez Unkypoo

Netflix przez. Oracle Cloud VM VPN

Mam instancję w Wielkiej Brytanii w chmurze Oracle i mam konfigurację SideGuard.

Na moim routerze (krzycz do GL.INET Beryl) Konfiguruję klienta WireGuard, podłącz moje urządzenia osobiste i.mi. MacBook, komputer, telefon itc. I wydają się być pokazywane jak w Wielkiej Brytanii, mogę uzyskać dostęp do BBC iPlayer, kanał 4 itp.

Jednak kiedy wypróbowuję Netflix, po prostu wyrzuca się i pokazuje mi tylko, co jest dostępne w mojej lokalizacji geograficznej.

Jedynym sposobem, w jaki mogłoby się to zdarzyć, byłoby to, że Netflix używa moich danych GPS. Ponieważ przeprowadziłem liczne testy, aby wykluczyć różne pozycje, takie jak wyciek DNS itp. I wszystko inne działa oprócz Netflix.

Czy ktoś miał podobne doświadczenie i dowolną metodę, którą był w stanie ominąć/naprawić to?

Duże filmy, Big Data: Netflix obejmuje NoSQL w chmurze

Netflix to wielka kahuna firm medialnych, z 33 milionami subskrybentów w ponad 40 krajach. W miarę rozwoju usługi przesyłania strumieniowego Netflix „Watch Now”, firma musiała przemyśleć strategie danych i przechowywania, aby poradzić sobie z balonowymi obciążeniami zarządzanymi w chmurze. Dzisiaj firma jest prawie kompletna w migracji z Oracle do bazy danych NoSQL Cassandra, poprawiając dostępność i zasadniczo eliminując przestoje poniesione przez zmiany schematu bazy danych.

Netflix uruchomił swoją usługę przesyłania strumieniowego w 2007 roku, korzystając z bazy danych Oracle jako zaplecza. „Mieliśmy jedno centrum danych, co oznaczało, że mieliśmy jeden punkt awarii”, wyjaśnia Adrian Cockcroft, architekt chmury w Netflix. „Zbliżaliśmy się do ograniczeń i pojemności. Teraz, gdy ludzie mogą oglądać programowanie przesyłania strumieniowego Netflix ze swoich telefonów, z urządzeń Wii, Roku i wielu innych, popyt na dostępność rośnie przez cały czas. Mamy więcej klientów co kwartał, więcej klientów korzysta ze strumieniowego streamingu i używa strumieniowego stawki w większym tempie.”

Dane wzrosły tak szybko, jak baza klientów, mówi Cockcroft: Liczba żądań API w styczniu 2011 r. Była 37 razy wyższa niż żądania w styczniu 2010 r. Firma wiedziała, że ​​awarie lub streaming o niskiej jakości może wypędzić klientów. „Wiedzieliśmy, że musimy wydostać się z centrum danych, abyśmy mogli nadal biec i rosnąć” – mówi Cockcroft.

W 2010 roku Netflix zaczął przenosić swoje dane do Amazon Web Services. Następnym krokiem było zastąpienie bazy danych Oracle Apache Cassandra, bazę danych NoSQL open source znana z skalowalności i niezawodności klasy korporacyjnej. „Dla nas problem z centralną bazą danych SQL polegał na tym, że wszystko było w jednym miejscu II, co jest wygodne, dopóki nie zawiedzie”, wyjaśnia Cockcroft. „A ponieważ te bazy danych są drogie, zwykle wkładasz wszystko. Wtedy wszystko się nie powiedzie.”

Innym problemem było to, że zmiany schematu wymagały przestoju systemu. „Co dwa tygodnie mielibyśmy co najmniej 10 minut przestojów, aby wprowadzić nowy schemat”, wyjaśnia. „Ograniczenia bazy danych SQL wpłynęły na naszą dostępność i skalowalność.”

Firma wybrała Cassandrę z DataStax ze względu na swoją elastyczność w szybkim tworzeniu klastrów danych, szczególnie w chmurze. Christos Kalantzis, menedżer Netflix w Cloud and Platform Engineering, wyjaśnia, że ​​„rozwiązania takie jak Oracle nie działają zbyt dobrze na wirtualizowanym sprzęcie . Architektura Cassandry oraz strojenie dostępności i spójności i skalowalność sprawiły, że jest to wyraźny wybór.„Aby rozwiązać te problemy, Netflix początkowo migrował dane z Oracle do Amazon Simon rozproszonej bazy danych – i ostatecznie przeniósł te dane do Cassandra.

„Dzięki Cassandrze uzyskujemy lepszą zwinność biznesową” – mówi Cockcroft. „Nie musimy z wyprzedzeniem planować pojemność, nie musimy prosić innych ludzi na budowę rzeczy dla nas i nie martwimy się, że brakuje miejsca lub mocy. Mogę stworzyć klaster Cassandra w dowolnym regionie świata w 10 minut ” – mówi Cockcroft. „Kiedy faceci marketingowi decydują, że chcemy przenieść się do określonej części świata, jesteśmy gotowi.”

Ponadto przestoje z powodu zmian schematu nie są już wymagane. „Nie ma schematów zmiany w Cassandrze – dlatego nie ma przestoju” – mówi Cockcroft.

Oczywiście, w przypadku wielu instancji Cassandra, istnieje więcej systemów do zarządzania niż w przypadku monolitycznej bazy danych Oracle. Ale Cockcroft podkreśla: „Zwykle pękają w różnych momentach, więc tracisz małe kawałki systemu, a nie całego systemu naraz. Ponadto każdy sklep jest prostszy do zarządzania.”

Dzisiaj Cassandra jest preferowaną bazą danych dla prawie wszystkich potrzeb bazy danych w Netflix. Firma przechowuje 95 procent wszystkich swoich danych w Cassandra, w tym informacje o koncie klienta, oceny filmów, metadane filmowe, zakładki filmowe i dzienniki.

Netflix obsługuje ponad 50 klastrów Cassandra z ponad 750 węzłami. Na szczycie przetwarzają ponad 50 000 odczytów na sekundę, a 100 000 zapisów na sekundę we wszystkich swoich klastrach. Średnio przetwarzają więcej niż 2.1 miliard odczytów w ciągu jednego dnia i więcej niż 4.3 miliardy pisze w ciągu jednego dnia.

Cassandra dostarczyła nowe, bardziej solidne fundament dla Netflix. Jak mówi Cockcroft: „Umożliwia nam świadczenie usługi, na której polegają nasi członkowie.”

Ten artykuł „Big Movies, Big Data: Netflix obejmuje NoSQL in the Cloud”, został pierwotnie opublikowany w InfoWorld.com. Przeczytaj więcej o blogu Big Data Andrew Lampitta i bądź na bieżąco z najnowszymi projektami dużych zbiorów danych w InfoWorld.com, aby uzyskać najnowsze wiadomości biznesowe, śledź InfoWorld.com na Twitterze.

  • Otwarte źródło
  • Zarządzanie danymi
  • Dżakarta ee
  • Rozwój oprogramowania
  • Big Data
  • Bazy danych NOSQL
  • Jawa

Copyright © 2013 IDG Communications, Inc.

ERP Netflix wykorzystuje system Oracle jako kręgosłup

Nieołagana część aktywów amortyzacją nazywa się a) nagromadzoną amortyzacja. b) Wartość netto realizowana. c) szacowana wartość resztkowa. d) Wartość bieżąca netto.

Ogromny rozwój Wang Lab pozostawił firmę z poważnym problemem. Klienci często czekali miesiące na wypełnienie zamówień i przetwarzania faktur. Powtarzające się skutki dla niedopowiedzonych Wanga

ERP Netflix wykorzystuje system Oracle jako kręgosłup swojego biznesu

System zarządzania. Jest wykorzystywany do zarządzania zapasami, wydajnością finansową i firmy oraz danych klientów. Jest także podstawą systemu kinowego. Oprócz zarządzania danymi biznesowymi, cała biblioteka DVD jest reprezentowana i jest reprezentowana na stronie internetowej wraz z danymi klientów. Wydajność i logistyka firmy są również zarządzane za pośrednictwem systemu Oracle. Firma została zbudowana od podstaw za pomocą tego systemu. Netflix używa “Mikro strategia raportowania i analizy danych finansowych, kampanii marketingowych i zaleceń filmowych” Micro Strategia pozwoli Netflix osiągnąć cenny wgląd dzięki spersonalizowanym danemu rekomendacji filmu i znaczącymi danymi marketingowymi, dzięki czemu Netflix będzie lepszą ocenę i tworzenie niezwykłych kampanii marketingowych. CRM System CRM wykorzystuje informacje o klientach, aby osiągnąć informacje na temat ich potrzeb i potrzeb, aby spróbować lepiej im służyć. Netflix ma inteligentne oprogramowanie. Na przykład Netflix używa systemu rekomendatora; Ta interaktywna aplikacja gromadzi dane o osobie i wyciąga z nich wnioski. Stamtąd ten system rekomendacji sugeruje filmy oparte na wcześniej przeglądanych elementach lub na użytkowniku’Podobieństwo do innych użytkowników. Netflix korzysta również z oprogramowania Business Intelligence dla swojej firmy znanej jako mikro strategia. Netflix używa “Mikro strategia raportowania i analizy danych finansowych, kampanii marketingowych i zaleceń filmowych” Micro Strategia pozwoli Netflix osiągnąć cenny wgląd dzięki spersonalizowanym danemu rekomendacji filmu i znaczącymi danymi marketingowymi, dzięki czemu Netflix będzie lepszą ocenę i tworzenie niezwykłych kampanii marketingowych. Netflix zapewnia odpowiednią obsługę klienta, co okazuje się świetnym podejściem filozoficznym i udanym. Skutecznie reagując na swojego klienta’S okaże się, że budują lojalne i trwałe relacje z klientami. Internet do korzystania z Netflix, konsumenci zapisują się na subskrypcję w firmie’S strona internetowa. W przypadku jednej niskiej miesięcznej ceny członkowie Netflix natychmiast oglądają nieograniczone filmy i programy telewizyjne przesyłane strumieniowo przez Internet na komputery PC, Mac i telewizory za pośrednictwem szerokiej gamy urządzeń. Internet pozwala ludziom zalogować się na swoim koncie Netflix na jednym z urządzeń, które ma Wi -Fi lub Internet Access Netflix #2 Netflix został założony w 1997 roku i od tego czasu stał się światem’wiodą serwis subskrypcji internetowej do oglądania filmów i programów telewizyjnych z 24 milionami U.S. członkowie i ponad 1 milion w Kanadzie.

Produkt Netflix to spersonalizowana strona internetowa, która zapewnia swoim użytkownikom dostęp online do filmów filmowych i telewizyjnych. Łańcuch wartości Netflix zbiera każdy film’recenzje kasowe i oceny telewizyjne oraz klient’S Wyszukiwanie i kliknięcie zachowania, które są następnie wprowadzane do narzędzia online o nazwie CinEmatch, które analizuje te dane w celu dostarczenia spersonalizowanych zaleceń dla każdego użytkownika.

Chcesz przeczytać wszystkie 10 stron?

Podgląd 6 z 10 stron Prześlij swoje dokumenty naukowe lub zostań członkiem.

Zobacz pełny dokument

Chcesz przeczytać wszystkie 10 stron?

Podgląd 6 z 10 stron Prześlij swoje dokumenty naukowe lub zostań członkiem.

Zobacz pełny dokument

Koniec podglądu

Chcesz przeczytać wszystkie 10 stron? Prześlij swoje dokumenty naukowe lub zostań członkiem.

Zobacz pełny dokument

Firma

Zdobądź bohatera kursu

Narzędzia do nauki

Pomoc

Prawny

  • Polityka praw autorskich
  • Integralność akademicka
  • Nasz kod honorowy
  • Polityka prywatności
  • Warunki korzystania
  • Przypisania

Jak działa Netflix

Zastanawiałem się, co dzieje się za kulisami naszej ulubionej usługi strumieniowej treści?

Cóż, ty’Odprawa, jak wyjaśnię back-end Netflix na Amazon Web Services (AWS) i spróbuję go uprościć.

Netflix wykorzystuje dwie usługi chmurowe, a mianowicie Amazon Web Services i Open Connect, które działają płynnie, aby zapewnić nas jako wyjątkowe wrażenia z oglądania.

Open Connect jest tym, czego Netflix wykorzystuje jako sieć dostarczania treści i nie będzie głęboko zanurzać się w temacie.

Klient

Netflix obsługuje szeroką gamę urządzeń od smartfonów, telewizorów inteligentnych, komputerów i różnych systemów operacyjnych.

Wszystko zaczyna się od naciśnięcia tego przycisku kliknięcia i prośby do serwerów Netflix, które są głównie hostowane na AWS.

Balansowanie obciążenia elastycznego AWS

Żądanie wraz z wieloma innymi żądaniami jest przekazywane do elastycznego salda obciążenia Amazon, aby skierować się do ruchu różne instancje EC2.

Obciążenie jest równoważone w różnych strefach, które są znane jako dwupoziomowy schemat równoważenia.

Przed udostępnieniem filmu, odbywa się to wstępne przetwarzanie od znalezienia błędów, przekształcania wideo w inny format lub rozdzielczość itp., Jest to znane jako transkodowanie.

Transcoding odbywa się w celu pomieści różnych urządzeń obsługiwanych przez platformę, ponieważ można sobie wyobrazić, że smartfon potrzebuje mniejszej rozdzielczości i dużych urządzeń, takich jak telewizory inteligentne, wymagają wyższej rozdzielczości.

Pliki są również zoptymalizowane według prędkości sieci, gdy Twój dostawca usług internetowych (ISP) doświadcza powolnej sieci, rozdzielczość może zostać zmniejszona.

Jeśli masz bardzo szybkie prędkości, jest sprawiedliwe, że otrzymujesz wideo w wysokiej rozdzielczości.

Osiąga to tworzenie wielu kopii tego samego filmu, w różnych rozdzielczościach.

Film może być plik 60 GB, który jest podzielony na różne fragmenty, które są w kolejce, ponieważ wychodzą z kolejki, które są zbierane przez różnych pracowników EC2 i połączone w Amazon S3.

Zuul

Jest to usługa bramy tworzona przez Netflix, która zapewnia dynamiczne routing i monitorowanie.

Prośba wysłana z urządzenia trafia teraz do serwera proxy Netty, który wysyła go do filtra przychodzącego i może być używane do uwierzytelniania, routingu lub dekorowania tego żądania.

Po tym żądanie jest wysyłane do filtra punktu końcowego, który służy do powrotu jako żądanie statyczne lub przekazanie Twojego żądania do usług zaplecza.

Po otrzymaniu odpowiedzi z usługi zaplecza filtr punktu końcowego przeniesie ją do filtrów wychodzących.

Filtr wychodzący wykonuje proces znany jako gzipping na zawartości i dodaje lub usuwa nagłówek. Po zakończeniu dwóch procesów odpowiedź odesłana do serwera proxy Netty.

Hystix

Przy tak wielu procesach nastąpiło mechanizm tolerancji usterki.

Powyższy schemat ilustruje punkty końcowe w układzie, jeśli punkty końcowe 4 i 5 rzutów, wówczas cały system nie powinien cierpieć, stąd histeria służy do izolacji punktów końcowych.

Po prostu wyjaśniona Hysterix to algorytm, który dekoruje mikrousługę zwane również punktami końcowymi w systemie.

Mikrousług

MicroServices są kluczem do zasilania infrastruktury interfejsu API Netflix, ponieważ żądanie użytkownika pojawia się w połączeniu z dowolnym punktem końcowym, przechodzi do innych punktów końcowych w procesie iteracyjnym.

MicroServices można dystrybuować w różnych instancjach przy użyciu wywołań HTTP lub zdalnej procedury (RPC).

Wspólnym problemem z systemem napędzanym mikrousługą jest każdy węzeł, a cały system może kaskadować w awarii, jak to kontrolujemy?

Jak wspomniano powyżej, jeden sposób jest algorytm histerix, który izoluje punkty końcowe, a drugi zmniejsza zależności od ważnych węzłów.

Powyżej mamy dwa diagramy, jeden ma węzeł A i jego zależności, a drugi to węzeł D i jego zależności.

Porównując dwa diagramy, widzimy, że węzeł A ma wiele zależności i węzła B tylko jeden, dlatego węzeł D jest niezawodnym i skalowalnym węzłem, na którym możemy uruchomić ważne usługi.

Dzięki inżynierii oprogramowania zawsze powinniśmy patrzeć na najlepszy i najgorszy przypadek, system taki jak awaria Netflix powinna oznaczać, że dla klientów dostępne są przynajmniej podstawowe funkcje.

Krytyczne punkty końcowe, takie jak wyszukiwanie, odtwarzanie, nawigacja powinna być zawsze przydzielana mniej zależności.

Kolejna kluczowa funkcja w systemie mikrousług FailSafe ma bezstronne punkty końcowe, jeśli punkt końcowy jest obniżony, użytkownik powinien uzyskać odpowiedź z dowolnego innego węzła/punktu końcowego.

Pamięć podręczna EV

Evcache to niestandardowa warstwa buforowania należąca do Netflix, która jest oparta na Mamcache D i Spymemcache D. Wykorzystuje wiele klastrów rozmieszczonych w instancjach EC2, aby zmniejszyć presję na punkty końcowe.

Kiedy system Evcache klienta odbiera odczyty i zapisuje go do każdego węzła dostępnego w tym klastrze, oznacza to, że pamięć podręczna jest równomiernie rozmieszczona w sieci.

Baza danych

Netflix wykorzystuje dwa różne systemy bazy danych, a mianowicie MySQL i Apache Cassandra.

Mój SQL to relacyjny system zarządzania bazą danych (RDBMS), a Cassandra to system NoSQL.

MySQL służy do przechowywania informacji o użytkownikach, takich jak informacje o rozliczeniu, transakcje, ponieważ potrzebują one zgodności z aktywami.

Reszta danych, takich jak Big Data i Historia przeglądania użytkowników, jest przechowywana w systemie bazy danych Cassandra.

Mój SQL został wdrożony na dużych instancjach EC2 za pomocą Master NODB do konfiguracji master.

Po wykonaniu zapisu, jest on również powtórzony do drugiego węzła głównego, wówczas tylko aktualizacja zostanie wysłana do zapytań, które zostały dokonane do Mistrza.

Repliki dla każdego węzła są wykonane w celu obsługi skalowalności i niezawodności RDBMS, te repliki są dostępne lokalnie i między centrami danych.

Gdy jeden węzeł główny zawodzi, konfiguracje DNS jest przekierowywane zapytania do właściwego mistrza.

Cassandra

Apache Cassandra zdobył reputację jako open source bez systemu bazy danych bez schematu SQL, który może obsługiwać duże ilości danych.

Netflix przyjął ten system zarządzania bazą danych do obsługi swoich dużych zbiorów danych, ponieważ Netflix wyhodował dane i wypełnianie węzłów Cassandra.

Współczynnik odczytu użytkowników do zapisów stał się 9 do 1 podpowiedzi zespołu inżynieryjnego w Netflix w celu zoptymalizowania systemu bazy danych.

Opracowano zaplanowany system pracy, który podzielił dane na następujące; Oglądanie na żywo historia i sprężona historia oglądania, a historia oglądania na żywo jest najnowszą.

Zaplanowane zadania skompresowały starą historię oglądania, która jest utrzymywana do czasu, gdy jest to potrzebne do dowolnego celu, najnowsza historia oglądania jest używana do budowania modeli uczenia maszynowego.

Apache Kafka i Chukwa

Apache Chukwa jest używany do zbierania dzienników z systemów rozproszonych, pochodzi z skalowalności i solidności Hadoop.

Wszystkie dzienniki i zdarzenia z różnych części (histerix i filtr przychodzący) w systemie są wysyłane do Chukwa.

Dane te są następnie wizualizowane i analizowane za pomocą pulpitu nawigacyjnego. Chukwa przekaże dane do Amazon S3, a kopię tych danych jest wysyłana do Apache Kafka.

Dane są następnie kierowane za pomocą usługi routingu Kafkas do różnych zsynchronizowanych mechanizmów, takich jak Amazon S3, Elastic Search i inne wtórne Kafka.

Wyszukiwanie elastyczne

Wydarzenia i dzienniki przepływają przez Chukwa, Kafka, a końcowy przystanek to elastyczne wyszukiwanie.

Istnieje około 150 klastrów i 3500 instancji, które obsługują elastyczne wyszukiwanie na zapleczu AWS.

Praktycznym użyciem przypadków wyszukiwania elastycznego byłyby błędy przesyłania strumieniowego, doświadczane przez klientów; Obsługa klienta może po prostu wyszukać błąd za pomocą szczegółów klienta, a błąd zostanie wizualizowany wraz ze szczegółami błędu.

Do wizualizacji można również użyć wyszukiwania elastycznego; Zarejestruj się, zaloguj się i śledź użycie.

Zobacz też:

https: // dokumenty.AWS.Amazonka.com/awsec2/najnowsze/userguide/koncepcje.htmlhttps: // www.Loginworks.com/blogs/how-netflix-użytkowe-Data-to-Win-the-Race/
https: // github.com/Netflix/Hystrix
https: // github.com/Netflix/Zuul

Jeśli ten post był pomocny, kilka razy kliknij przycisk CLAP ��, aby pokazać swoją obsługę dla autora ��