요약:

– .

– 현재 세대 인 목성 직물은 총 이분감 대역폭의 1 개 이상의 젖꼭지/초를 제공 할 수 있습니다.

– Google은 Clos Topology, 중앙 집중식 소프트웨어 제어 스택 및 사용자 정의 프로토콜을 사용하여 데이터 센터 네트워크를 설계합니다.

– 그들은 10 년 동안 소프트웨어 정의 네트워킹 (SDN)의 이점을 배포하고 즐기고 있습니다.

– Google의 데이터 센터 네트워크는 속도, 모듈성 및 가용성을 위해 구축되었으며 공유 인프라입니다.

– Andromeda는 소프트웨어 정의 네트워킹 (SDN)을 기반으로 한 Google Cloud Platform의 최신 네트워킹 스택입니다.

– Google은 $ 9의 일환으로 네브래스카에 새로운 데이터 센터를 구축하고 있습니다.데이터 센터 및 사무실에 대한 50 억 투자.

독특한 질문 :

1. Google이 어떻게 데이터 센터 네트워킹 인프라를 구축하고 있습니까??

Google은 자체 네트워크 하드웨어 및 소프트웨어를 구축하여 데이터 센터의 모든 서버를 함께 연결하여 분산 컴퓨팅 및 스토리지 시스템에 전원을 공급하고 있습니다. 그들은 지난 10 년 동안이 일을 해왔습니다.

2. Google의 현재 세대 데이터 센터 네트워크의 용량은 얼마입니까??

목성 직물이라고 불리는 현재 세대는 총 이분감 대역폭의 1 개 이상의 젖꼭지/초를 제공 할 수 있습니다. 이 용량은 10 만 서버가 각각 10GB/s로 정보를 교환하기에 충분합니다.

삼. Google은 데이터 센터 네트워크를 어떻게 설계합니까??

Google은 훨씬 더 큰 논리적 스위치의 속성을 제공하기 위해 작은 스위치 모음 주위에 네트워크를 배치하는 Clos Topology를 사용합니다. 또한 중앙 집중식 소프트웨어 컨트롤 스택을 사용하여 데이터 센터 내에서 수천 개의 스위치를 관리하여 하나의 대형 직물 역할을합니다. 또한 데이터 센터에 맞춰진 사용자 정의 프로토콜을 사용하여 자체 소프트웨어 및 하드웨어를 구축합니다.

4. Google이 소프트웨어 정의 네트워킹 (SDN)의 이점을 배포하고 즐기는 기간?

Google은 10 년 동안 SDN의 이점을 배포하고 즐기고 있습니다. 그들은 SDN을 사용하여 데이터 센터 WAN, B4 및 SDN 네트워크 가상화 스택 인 Andromeda에 전원을 공급했습니다.

5. Google 데이터 센터 네트워크의 주요 기능은 무엇입니까??

Google의 데이터 센터 네트워크는 전례없는 속도, 모듈성 및 가용성을 제공합니다. 최신 세대의 서버의 대역폭 요구를 충족시키기 위해 지속적으로 업그레이드됩니다. 이러한 네트워크는 또한 공유 인프라이며 Google의 내부 인프라 및 서비스 및 Google Cloud 플랫폼 모두에 전원을 공급합니다.

6. Andromeda 란 무엇이며 Google Cloud 플랫폼과 어떤 관련이 있습니까??

Andromeda는 Google의 네트워크 가상화 노력을위한 소프트웨어 정의 네트워킹 (SDN) 기반 기반 기반입니다. Google Cloud 플랫폼 내에서 가상 네트워크 및 네트워크 내 패킷 처리를 프로비저닝, 구성 및 관리하는 오케스트레이션 포인트입니다.

7. 데이터 센터 및 사무실에 대한 Google의 투자 계획은 무엇입니까??

Google은 $ 9를 투자 할 계획입니다.데이터 센터 및 사무실에서 50 억,이 계획의 일환으로 네브래스카에 새로운 데이터 센터를 구축하고 있습니다.

8. Google이 데이터 센터 네트워킹을위한 자체 네트워크 하드웨어 및 소프트웨어를 구축하는 이유?

Google은 분산 된 컴퓨팅 요구 사항을 충족 할 수있는 기존 솔루션이 없었기 때문에 자체 네트워크 하드웨어 및 소프트웨어를 구축하기 시작했습니다. 그들은 데이터 센터를위한 훌륭한 컴퓨팅 인프라를 보장하기 위해 계속 그렇게했습니다.

9. Google이 데이터 센터 네트워크를 설계하는 데 사용한 원칙은 무엇입니까??

Google은 데이터 센터 네트워크 설계에서 세 가지 주요 원칙을 사용했습니다. Clos Topology 주위에 네트워크 배열, 중앙 집중식 소프트웨어 컨트롤 스택을 사용하고 데이터 센터에 맞춰진 사용자 정의 프로토콜을 사용하여 자체 소프트웨어 및 하드웨어를 구축했습니다.

10. Google의 데이터 센터 네트워크가 공유 인프라로 간주되는 이유는 무엇입니까??

Google의 Datacenter Networks는 내부 인프라 및 서비스 및 Google Cloud 플랫폼 모두에 힘을 실어줍니다. 이는 전 세계의 개발자가 동일한 네트워크에 액세스 할 수 있음을 의미하므로 직접 구축하지 않고도 세계적 수준의 네트워크 인프라를 활용할 수 있습니다.

11. Google은 데이터 센터 네트워크의 가용성을 어떻게 보장합니까??

Google 운영 팀은 분산 시스템의 대역폭 요구를 충족시키기 위해 인프라 전반에 걸쳐 여러 세대의 네트워크를 배치하고 재배치했습니다. 그들은 세계 최고의 네트워크 엔지니어링 및 운영 팀과 긴밀히 협력하여 네트워크의 가용성을 보장합니다.

12. Google Cloud 플랫폼에서 Andromeda의 목적은 무엇입니까??

Andromeda는 Google Cloud 플랫폼 내에서 가상 네트워크 및 네트워크 내 패킷 처리를 프로비저닝, 구성 및 관리하는 오케스트레이션 포인트 역할을합니다. 플랫폼의 네트워킹 기능의 핵심 구성 요소입니다.

13. Google의 데이터 센터 네트워킹 인프라는 소프트웨어 정의 네트워킹 (SDN)을 어떻게 활용합니까??

Google은 10 년 동안 데이터 센터 네트워킹 인프라에 SDN을 배포했습니다. 그들은 SDN을 사용하여 데이터 센터 WAN, B4와 네트워크 가상화 스택 인 Andromeda에 전원을 공급했습니다. 그들은 네트워킹 시스템에서 SDN의 건축 아이디어를 받아 들였습니다.

14. 데이터 센터 및 사무실에 대한 Google 투자의 중요성은 무엇입니까??

Google의 투자 $ 9.50 억 개의 데이터 센터 및 사무실에서 인프라 및 기능을 확장하겠다는 약속이 반영됩니다. 서비스 성장에 대한 확신과 Google Cloud에 대한 수요 증가를 보여줍니다.

15. Google의 데이터 센터 네트워킹 인프라는 Google Cloud 플랫폼에 어떻게 기여합니까??

Google의 Datacenter Networking Infrastructure는 Google의 내부 인프라 및 서비스 및 Google Cloud 플랫폼 모두를 강화하는 공유 인프라입니다. 이를 통해 전 세계의 개발자가 직접 구축하지 않고도 세계적 수준의 네트워크 인프라를 활용하여 혁신적인 인터넷 서비스 및 플랫폼을 만들 수 있습니다.

Google은 $ 9의 일환으로 새로운 $ 750m 데이터 센터를 발표합니다.5B 목표

머신 러닝은 빅 데이터를 다루는 데 필수적입니다. Global Captubilities, Insights & Innovation의 리더 인 Ryan Den Rooijen이 런던의 빅 데이터 혁신 서밋 (2017 년 3 월)에 말했다, “내가 관찰 한 대부분의 문제는이 데이터를 유용하게 만드는 방법과 관련이 있습니다.” 따라서 Google은 Google Translate와 같은 제품에 머신 러닝을 사용하는 것 외에도 신경망을 사용하여 데이터 센터의 PUE를 예측합니다.

Google은 데이터 센터를 자체합니다

VP & GM, 시스템 및 서비스 인프라

Google은 오랫동안 Google 파일 시스템에서 MapReduce, BigTable, Borg에 이르기까지 분산 컴퓨팅 및 데이터 처리의 선구자였습니다. 처음부터 우리’이와 같은 훌륭한 컴퓨팅 인프라는 훌륭한 데이터 센터 네트워킹 기술이 필요하다는 것을 알고 있습니다. 그러나 Google이 시작될 때 분산 컴퓨팅 요구 사항을 충족 할 수있는 데이터 센터 네트워크를 만들지 않았습니다.

따라서 지난 10 년 동안 우리는 데이터 센터의 모든 서버를 함께 연결하여 분산 컴퓨팅 및 스토리지 시스템에 전원을 공급하기 위해 자체 네트워크 하드웨어 및 소프트웨어를 구축 해 왔습니다. 이제 Google Cloud 플랫폼을 통해 외부 개발자가 사용할 수있는이 강력하고 혁신적인 인프라를 열었습니다.

2015 년 Open Network Summit에서 우리는 처음으로 5 세대의 사내 네트워크 기술의 세부 사항을 공개했습니다. 10 년 전 최초의 사내 데이터 센터 네트워크 인 Firehose에서 우리의 최신 생성 목성 네트워크에 이르기까지’VE 단일 데이터 센터 네트워크의 용량을 100 배 이상 증가. 우리의 현재 세대 (목성 직물)는 총 이분감 대역폭의 1 개 이상의 젖꼭지/초를 제공 할 수 있습니다. 이것을 관점에두기 위해, 그러한 용량은 10 만 서버가 각각 10GB/s로 정보를 교환하기에 충분할 것입니다.

데이터 센터 네트워크 설계에 세 가지 주요 원칙을 사용했습니다

• 우리는 더 큰 논리적 스위치의 속성을 제공하기 위해 더 작은 (저렴한) 스위치 모음이 배열되는 네트워크 구성 인 Clos Topology 주위에 네트워크를 배열합니다.
• 우리는 중앙 집중식 소프트웨어 제어 스택을 사용하여 데이터 센터 내에서 수천 개의 스위치를 관리하여 하나의 대형 직물 역할을합니다.
• 우리는 공급 업체의 실리콘을 사용하여 자체 소프트웨어 및 하드웨어를 구축하며 표준 인터넷 프로토콜에 적은 의존 및 데이터 센터에 맞는 사용자 정의 프로토콜에 더 많은 것입니다.

종합하면, 우리의 네트워크 제어 스택은 Google과 공통점이 있습니다’기존 라우터 중심 인터넷 프로토콜보다 S 분산 컴퓨팅 아키텍처. 어떤 사람들은 심지어 우리라고 말할 수도 있습니다’VE는 10 년 동안 Google에서 소프트웨어 정의 네트워킹 (SDN)의 이점을 배포하고 즐기고 있습니다. 몇 년 전, 우리는 SDN이 어떻게 Google에 전원을 공급하고 있는지 밝혔습니다’S Datacenter Wan, B4, 세계 중 하나’가장 큰 wans. 작년에 우리는 GCP의 세부 사항을 보여주었습니다’S SDN 네트워크 가상화 스택, Andromeda. 사실,이 두 시스템의 건축 아이디어는 데이터 센터 네트워킹의 초기 작업에서 비롯됩니다.

훌륭한 데이터 센터 네트워크 구축은 훌륭한 하드웨어 및 소프트웨어 구축에 관한 것이 아닙니다. 그것’세상과 파트너십에 관한 것입니다’첫날부터 최고의 네트워크 엔지니어링 및 운영 팀. 네트워킹에 대한 우리의 접근 방식은 기본적으로 네트워크 구성을 변경합니다’S 데이터, 제어 및 관리 평면. 이러한 근본적인 변화는 약간의 충돌 없이는 오지 않지만 운영 팀은 도전을 충족시키는 것 이상을 가지고 있습니다. 우리’VE는 분산 시스템의 대역폭 요구를 따라 행성 규모 인프라 전반에 걸쳐 여러 세대의 네트워크를 배포하고 재배치했습니다.

이 모든 것을 종합하면 데이터 센터 네트워크는 전체 건물 규모에서 전례없는 속도를 제공합니다. 그들은 모듈성을 위해 구축되었으며 최신 세대의 서버의 만족할 수없는 대역폭 요구를 충족시키기 위해 지속적으로 업그레이드되었습니다. 그들은 가용성을 위해 관리되며, 가장 까다로운 인터넷 서비스 및 고객의 가동 시간 요구 사항을 충족합니다. 가장 중요한 것은 데이터 센터 네트워크가 공유 인프라입니다. 이것은 모든 Google에 전원을 공급하는 동일한 네트워크를 의미합니다’내부 인프라 및 서비스는 Google 클라우드 플랫폼에도. 우리는이 기능을 전 세계의 개발자들에게 열어서 다음 훌륭한 인터넷 서비스 또는 플랫폼이 발명하지 않고도 세계적 수준의 네트워크 인프라를 활용할 수 있도록 가장 기쁘게 생각합니다.

구글 클라우드

Andromeda Zone : Google Cloud Platform의 최신 네트워킹 스택 입력

Andromeda는 네트워크 가상화 노력을위한 소프트웨어 정의 네트워킹 (SDN) 기반 기판입니다. 가상 네트워크 및 네트워크 패킷 처리 프로비저닝, 구성 및 관리의 오케스트레이션 포인트입니다.

Amin Vahdat에 의해 • 3 분 읽기

• 구글 클라우드
• 하부 구조
• 시스템

Google은 $ 9의 일환으로 새로운 $ 750m 데이터 센터를 발표합니다.5B 목표

Google Cloud에 대한 수요가 급증함에 따라 Google은 $ 9를 투자하기위한 전략의 일환으로 네브래스카에 새로운 데이터 센터를 구축하고 있습니다.2022 년 데이터 센터 및 사무실에서 50 억.

Google은 $ 9를 지출하겠다는 약속을 이행하고 있습니다.2022 년 새로운 Google 데이터 센터 및 사무실에 50 억 개의 네브래스카에서 새로운 7 억 5 천만 달러의 데이터 센터가 공개되었습니다.

NEB의 오마하에있는 대규모 Google 캠퍼스., 총 4 건의 건물로 구성됩니다.Google 클라우드 서비스 및 인프라에 대한 수요가 급증함에 따라 4 백만 평방 피트. Google Cloud에서’최근 4 분기, 회사는 전년 대비 45 %의 매출 성장을 5 달러로보고했습니다.50 억.

“[새로운 데이터 센터]는 고객이 비즈니스를 성장시키고 디지털 서비스를 사용할 수있는 더 많은 기회와 더 많은 리소스를 제공 할 것입니다,” Stacy Trackey Meagher, Google Cloud의 전무 이사’성명서에서 중앙 지역.

네브래스카에있는 새로운 Google 데이터 센터는 캘리포니아 주 마운틴 뷰의 일부입니다.-기반 검색 및 클라우드 거인’S는 총 $ 9를 투자 할 계획입니다.데이터 센터 및 u에서 50 억입니다.에스.-2022 년 말까지 기반 사무실.

Synergy Research Group에 따르면 Google은 전 세계에 새로운 데이터 센터를 구축하는 데 가장 큰 지출 중 하나입니다. Synergy Research Group에 따르면 매년 클라우드 고객 요구가 커지기 위해 하이퍼 스케일 데이터 센터를 구성하고 장비하는 데 매년 수십억을 투자했습니다. Google, Amazon Web Services 및 Microsoft는 세계에서 가장 광범위한 데이터 센터 풋 프린트를 보유하고 있으며 각 호스팅은 최소 60 개 이상의 데이터 센터 위치에 있습니다.

데이터 센터는입니다 “중요한 앵커” Google CEO Sundar Pichai는 이번 달 블로그 게시물에서 고객과 지역 사회에 말했다.

“데이터 센터에 대한 우리의 투자는 사람들과 비즈니스가 번성하는 데 도움이되는 디지털 도구 및 서비스에 계속 전원을 공급할 것입니다,” Google이 말했다’S Pichai.

Google’S 데이터 센터 확장 계획

Google은 네브래스카의 새로운 데이터 센터 외에도 올해 조지아, 아이오와, 오클라호마, 네바다, 테네시, 버지니아 및 텍사스의 데이터 센터에 수십억 달러를 소비 할 계획입니다.

“u에서.에스. 지난 5 년 동안 우리는’VE는 26 개 주에있는 사무실과 데이터 센터에 370 억 달러 이상을 투자하여 4 만 명 이상의 풀 타임 일자리를 창출했습니다. 저것’s 우리는 U에 투자 한 연구 개발에 400 억 달러가 넘는 것 외에도.에스. 2020 년과 2021 년,” Pichai가 말했다.

데이터 센터는 GCP (Google Cloud Platform) 오퍼링을 포함하여 Google 클라우드 서비스 및 인프라를 활성화합니다.

2021 년 GCP는 2020 년에 비해 총 거래량이 80 % 이상 증가했으며 10 억 달러를 초과하는 거래 수의 65 % 이상 증가했습니다.

전반적으로 Google Cloud는 이제 연간 매출 런 비율이 $ 22입니다.160 억.

Google 데이터 센터 FAQ 파트 3

Google은 데이터 센터를 구축 할 위치를 어떻게 결정합니까??

Google은 고객 위치, 사용 가능한 인력, 전송 인프라와의 근접성, 세금 리베이트, 유틸리티 요금 및 기타 관련 요인을 포함한 요소의 조합을 기반으로 데이터 센터의 위치를 ​​선택합니다. 클라우드 인프라 확장에 대한 최근의 초점은 특정 위치에 대한 Enterprise Cloud 고객 수요 및 고밀도 인구 센터에 대한 근접성과 같은 더 많은 고려 사항을 추가했습니다.

st의 선택. GHISLAIN, 벨기에 벨기에 데이터 센터 (2010 년에 개장 한)는 에너지 인프라, 개발 가능한 토지, 첨단 기술 일자리에 대한 강력한 지역 지원 및 인근 학교 및 대학의 기술 교육을 적극적으로 지원하는 기술 클러스터의 존재를 기반으로했습니다.

긍정적 인 비즈니스 환경은 또 다른 요인입니다. Google에 따르면 가용 토지와 힘과 함께 오클라호마는 특히 매력적으로 만들었습니다’Pryor Creek 사이트가 발표되었을 때의 수석 운영 책임자. 오레곤에서 긍정적 인 비즈니스 환경은 판매 세가없는 주에서 찾는 것을 의미합니다. 현지 Wasco County Commissioners는 또한 대부분의 재산세에 대해 Google을 면제하면서 $ 1의 일회성 지불을 요구했습니다.지방 정부에 7 및 매년 최소 1 백만 달러의 지불금.

재생 가능한 에너지 원과의 근접성도 점점 더 중요 해지고 있습니다. Google은 재생 가능한 자원에 전략적으로 투자하고 새로운 데이터 센터를 사용할 때 환경 발자국을 고려합니다.

Google 데이터 센터는 재생 가능 에너지를 사용합니까??

Google은 전 세계 어떤 기업보다 더 많은 재생 에너지를 구매합니다. IT 2016는 에너지 사용의 절반 이상을 설명하기에 충분한 에너지를 구입했습니다. 2017 년 에이 회사는 100 % 재생 가능한 에너지로 모든 에너지 사용량을 완전히 상쇄 할 것으로 예상합니다. 이를 위해 Google은 2에 대한 20 개의 구매 계약에 서명했습니다.6 기가 와트 (GW)의 재생 에너지. 즉, Google은 어디에서나 또는 Google이 필요로하는 수량으로 재생 가능한 에너지를 사용할 수 없지만 Google은 소비하는 것과 동일한 양의 재생 가능 에너지를 구매합니다.

구글은 또한 $ 2를 약속했다.전 세계 전력망에 추가 될 수있는 태양열 및 풍력 에너지를 개발하기위한 50 억 주식 자금. 재생 가능한 프로젝트에 자금을 지원하려는 의지는 이용 가능한 측면에서 재생 가능 에너지 시장을 점차적으로 확장하려는 시도뿐만 아니라 재생 에너지를 구매할 수있는 방법을 변화시키기위한 노력입니다. 이 과정에서 재생 가능한 소스를 사용하면 모든 사람이 더 쉽고 비용이 많이 드는.

Google

옆에있는 핀란드 하미나에있는 Google 데이터 센터보기, 옆에 풍력 터빈이 있습니다

지속 가능성은 데이터 센터 내부의 초점입니다. ST. 벨기에의 Ghislain, 데이터 센터는 Google이었습니다’S는 먼저 자유 냉각에 전적으로 의존합니다. 그리고 그 시설’현장 물 정제 플랜트는 데이터 센터가 지역을 활용하지 않고 산업용 운하에서 물을 재활용 할 수 있습니다’S 담수 공급.

Google 데이터 센터는 얼마나 많은 에너지를 사용합니까??

데이터 센터 에너지 사용은 5의 상당한 덩어리를 나타냅니다.7 Terawatt 시간 모회사 인 알파벳, 2015 년에 사용. 평균 푸는 1입니다.12 (업계 평균 1 대 1.7), Google은 데이터 센터가 일반 데이터 센터의 에너지의 절반을 사용한다고 말합니다. 이 중 증가하는 부분은 전력 구매 계약을 통해 공급되는 재생 가능입니다.

Google은 데이터 센터에서 어떤 종류의 하드웨어 및 소프트웨어를 사용합니까??

그것’G Google이 2004 년부터 상품 구성 요소에서 자체 인터넷 인프라를 구축했다는 비밀은 없습니다. 결과 계층 적 메쉬 설계는 모든 데이터 센터에서 표준입니다.

하드웨어는 Google이 설계 한 사용자 정의 서버와 목성에 의해 지배되며 2012 년에 소개 된 Google 스위치. 규모의 경제로 Google은 제조업체와 직접 계약하여 최고의 거래를 얻습니다.

Yevgeniy Sverdlik

Google’S Jupiter 네트워킹 스위치는 다음 2017 년 Google Cloud에서 샌프란시스코에서 전시됩니다

Google’S 서버 및 네트워킹 소프트웨어는 Linux 오픈 소스 운영 체제의 강화 버전을 실행합니다. 개별 프로그램은 사내에서 작성되었습니다. 여기에는 우리가 아는 한, 여기에는 다음이 포함됩니다

• Google 웹 서버 (GWS)-Google이 온라인 서비스에 사용하는 사용자 정의 Linux 기반 웹 서버.
• 스토리지 시스템 :
  • Colossus-Google 파일 시스템을 대체 한 클러스터 레벨 파일 시스템
  • 카페인 – Teroogogle을 대체하기 위해 2010 년에 시작된 연속 인덱싱 시스템
  • 벌새 – 2013 년에 소개 된 주요 검색 지수 알고리즘.

  Google은 또한 대부분의 데이터를 저장하는 데 사용하는 몇 가지 추상화를 개발했습니다

  • 프로토콜 버퍼-커뮤니케이션 프로토콜, 데이터 저장소 등에 사용하기위한 언어 중립적, 플랫폼 중립, 확장 가능한 구조화 데이터를 직렬화하는 방법
  • sstable (정렬 된 문자열 테이블) – 키에서 값에 이르기까지 지속적이고 순서대로 불변의 맵, 키와 값이 모두 임의의 바이트 문자열입니다. Bigtable의 빌딩 블록 중 하나로 사용됩니다
  • Recordio – Google과 호환되는 IO 인터페이스를 정의하는 파일’S IO 사양

  Google은 데이터 센터에서 기계 학습을 어떻게 사용합니까??

  머신 러닝은 빅 데이터를 다루는 데 필수적입니다. Global Captubilities, Insights & Innovation의 리더 인 Ryan Den Rooijen이 런던의 빅 데이터 혁신 서밋 (2017 년 3 월)에 말했다, “내가 관찰 한 대부분의 문제는이 데이터를 유용하게 만드는 방법과 관련이 있습니다.” 따라서 Google은 Google Translate와 같은 제품에 머신 러닝을 사용하는 것 외에도 신경망을 사용하여 데이터 센터의 PUE를 예측합니다.

  Google은 30 초마다 Pue를 계산하고로드, 외부 기온 및 기계 및 냉각 장비 레벨을 지속적으로 추적합니다. 이 데이터는 Google Engineers가 에너지 관리를 개선하는 데 사용할 수있는 패턴을 발견하기 위해 많은 변수의 복잡한 상호 작용을 분석하는 예측 모델을 개발할 수 있습니다. 예를 들어, Google은 며칠 동안 일부 서버를 오프라인으로 가져 갔을 때 엔지니어는이 모델을 사용하여 에너지 효율을 유지하고 비용을 절약하기 위해 냉각을 조정했습니다. 모델은 99입니다.6 % 정확합니다.

  2016 년 7 월, Google은 영국인 인수 DeepMind에 의해 AI 시스템 테스트 결과를 발표했습니다. 이 시스템은 데이터 센터 냉각 장치의 에너지 소비를 40%, 전체 Pue를 15% 감소 시켰습니다. 이 시스템은 1 시간 전에 온도를 예측하여 예상대로 냉각을 조정할 수 있습니다.

  Google은 다른 회사의 공간을 임대합니다’ 데이터 센터?

  예. Google은 이해가 될 때 다른 사람의 공간을 임대합니다. 모든 Google 데이터 센터에 이름이있는 것은 아닙니다. 대신 회사는 다양한 전략을 사용하여 데이터 센터 요구를 충족합니다. 예를 들어 캐싱 사이트를위한 공간을 임대하고 글로벌 클라우드 데이터 센터 롤아웃에 혼합 된 빌드 앤리스 전략을 사용합니다.

  Google은 데이터 센터를 자체합니다

  

  Amin Vahdat

  VP & GM, 시스템 및 서비스 인프라

  데이터 센터 네트워크는 최신 창고 규모 및 클라우드 컴퓨팅의 기초를 형성합니다. Sub-100US 대기 시간을 가진 GB/S의 100 대 대역폭에서 수만 개의 서버들 사이에서 균일하고 임의의 통신을 보장하면 컴퓨팅 및 스토리지가 전환되었습니다. 이 모델의 주요 이점은 단순하면서도 심오합니다. 더 높은 수준의 서비스에 증분 서버 또는 스토리지 장치를 추가하면 서비스 용량 및 기능이 비례 증가합니다. Google에서 Jupiter Data Center 네트워크 기술은 검색, YouTube, Gmail 및 AI 및 Machine Learning, Compute Engine, BigQuery Analytics, Spanner Database 등과 같은 사용자를위한 기초 서비스를위한 이러한 종류의 스케일 아웃 기능을 지원합니다.

  우리는 지난 8 년 동안 OCS (Optical Circuit Switching) 및 WDM (Wave Division Multiplexing)을 목성에 깊이 통합했습니다. 수십 년의 기존의 지혜는 그렇게하는 것이 실용적이지 않다고 제안했지만, OCS와 SDN (Software Defined Networking) 아키텍처의 조합은 새로운 기능을 가능하게했다. 더 높은 성능 및 낮은 대기 시간, 비용 및 전력 소비; 실시간 응용 프로그램 우선 순위 및 커뮤니케이션 패턴; 및 제로 다운 타임 업그레이드. 목성은이 모든 일을하면서 흐름 완료를 10% 줄이면서 처리량을 30%로 향상시키고, 40% 적은 전력을 사용하고, 30% 저렴한 비용을 발생 시키며, 가장 잘 알려진 대안보다 50 배 줄이면서 50 배 줄입니다. 오늘 SIGCOMM 2022에서 제시 한 논문 에서이 작업을 수행 한 방법에 대한 자세한 내용, 목성 Evolving : 광학 회로 스위치 및 소프트웨어 정의 네트워킹을 통해 Google 데이터 센터 네트워크 변환.

  다음은이 프로젝트에 대한 개요입니다.

  진화하는 목성 데이터 센터 네트워크

  2015 년에는 목성 데이터 센터 네트워크가 균일 한 40GB/s 당 연결 기능을 갖춘 30,000 개 이상의 서버로 확장하여 1pb/sec의 집계 대역폭을 지원하는 방법을 보여주었습니다. 오늘날 목성은 6pb/sec의 데이터 센터 대역폭을 지원합니다. 우리는 세 가지 아이디어를 활용하여 전혀 볼 수없는 성과 수준과 규모를 제공했습니다

  • 소프트웨어 정의 네트워킹 (SDN) – 데이터 센터 네트워크에서 수천 개의 스위칭 칩을 프로그래밍하고 관리하기위한 논리적으로 중앙 집중식 및 계층 적 제어 평면.
  • Clos Topology – 더 작은 Radix Switch 칩으로 구축 된 비 블로킹 멀티 스위치 스위칭 토폴로지는 임의로 큰 네트워크로 확장 할 수 있습니다.
  • 가맹점 스위치 실리콘 – 수렴 스토리지 및 데이터 네트워크를위한 비용 효율적, 상품 일반 목적 이더넷 스위칭 구성 요소.

  이 세 가지 기둥을 쌓아서 목성’S 아키텍처 접근은 분산 시스템 아키텍처의 해상 변화를 지원하고 산업 전체가 전체 데이터 센터 네트워크를 구축하고 관리하는 방법에 대한 경로를 설정했습니다.

  그러나 저 스케일 데이터 센터에 대한 두 가지 주요 과제는 남아있었습니다. 먼저, 데이터 센터 네트워크는 전체 건물 규모로 배치되어야합니다. 또한 건물에 배치 된 서버 및 스토리지 장치는 항상 40GB에서 100GB/s에서 200GB/s로 이동하고 오늘날 400GB/S 기본 네트워크 상호 연결과 같이 항상 발전하고 있습니다. 따라서 데이터 센터 네트워크는 연결하는 새로운 요소와 보조를 맞추기 위해 동적으로 진화해야합니다.

  불행히도 아래에 표시된 것처럼 Clos Topologies는 연결할 수있는 가장 빠른 장치를 균일하게 지원하는 척추 층이 필요합니다. 건물 규모의 클로즈 기반 데이터 센터 네트워크를 배포하면 최신 세대의 고정 된 속도로 실행되는 매우 큰 척추 층을 사전 배포하는 것을 의미했습니다. 이것은 Clos Topologies가 본질적으로 요구하기 때문입니다 전부 응집 블록 1에서 척추까지의 팬 아웃; 척추에 점차적으로 추가하려면 전체 데이터 센터를 다시 정리해야합니다. 더 빠른 라인 속도로 실행되는 새로운 장치를 지원하는 한 가지 방법은 전체 척추 층을 교체하여 새로운 속도를 지원하는 것이지만, 건물을 가로 질러 실행되는 스위치와 수만 개의 섬유 쌍이있는 수백 개의 개별 랙이 주어지면 실용적이지 않습니다.

  

  무화과. 200GB/s 포트 속도가있는 새로운 집계 블록 (녹색)은 100GB/s 포트 속도와 200GB/s 포트 속도의 새로운 척추 블록 (녹색)이있는 3 개의 오래된 척추 블록 (파란색)에 연결됩니다. 이 모델에서는 새로운 집계 블록과 새로운 척추 블록의 링크의 25%만이 200GB/s로 실행됩니다.

  이상적으로는 데이터 센터 네트워크가 이기종 네트워크 요소를 지원합니다 “성장함에 따라 지불하십시오” 모델, 필요할 때만 네트워크 요소 추가 및 최신 기술을 점차적으로 지원합니다. 네트워크는 서버 및 스토리지를 가능하게하는 동일한 이상화 된 스케일 아웃 모델을 지원하므로 이전에 배포 된 것과는 다른 기술의 경우에도 네트워크 용량의 증분 추가가 발생할 수 있습니다.

  둘째, 균일 한 건물 규모 대역폭은 강점이지만 데이터 센터 네트워크가 본질적으로 다중 테넌트이고 지속적으로 유지 보수 및 현지화 된 장애가 발생한다고 생각할 때 제한됩니다. 단일 데이터 센터 네트워크는 다양한 우선 순위와 대역폭 및 대기 시간 변동에 대한 민감도를 갖는 수백 개의 개별 서비스를 호스팅합니다. 예를 들어, 웹 검색 결과를 실시간으로 제공하는 데 실시간 대기 시간 보증 및 대역폭 할당이 필요할 수 있으며, 다 시간 배치 분석 작업은 단기간에 더 유연한 대역폭 요구 사항을 가질 수 있습니다. 이를 감안할 때, 데이터 센터 네트워크는 실시간 통신 패턴과 네트워크의 응용 프로그램 인식 최적화를 기반으로 서비스에 대한 대역폭 및 경로를 할당해야합니다. 이상적으로, 업그레이드를 위해 네트워크 용량의 10%가 일시적으로 중단되어야한다면, 모든 임차인에 대해 10%를 균일하게 배포해서는 안되지만 개별 응용 프로그램 요구 사항과 우선 순위에 따라 배분됩니다.

  이러한 나머지 도전을 해결하는 것은 처음에는 불가능 해 보였다. 데이터 센터 네트워크는 대규모 물리적 척도로 계층 적 토폴로지를 중심으로 구축되어 증분 이질성 및 동적 응용 적 적응을 지원하는 지원을 설계에 통합 할 수 없었습니다. 우리는 개발하고 소개 함으로써이 곤경을 깨뜨 렸습니다 광학 회로 스위칭 (OCS) 목성 아키텍처로. 광학 회로 스위치 (아래에 나와 있음)는 2 차원으로 회전 할 수있는 두 차원의 MEMS (Micro-Electromechanical Systems) 미러를 통해 임의의 포트-포트 매핑을 생성 할 수있는 두 세트의 MEMS (Micro-Electromechanical Systems) 미러를 통해 광섬유 입력 포트를 출력 포트에 맵핑합니다.

  

  무화과. MEMS 미러를 통해 N 출력 섬유에 대한 단일 OCS 장치 매핑 N 입력의 작동.

  우리는 아래 그림과 같이 데이터 센터 패킷 스위치 사이에 OCS 중개 계층을 도입하여 데이터 센터 네트워크에 대한 임의의 논리적 토폴로지를 만들 수 있다는 통찰력을 가졌습니다.

  

  무화과. 집계 차단은 섬유를 통해 OCS 스위치에 물리적으로 연결됩니다. 입력의 순열을 출력 섬유에 연결하도록 각 OCS 스위치를 구성하여 논리 토폴로지를 실현할 수 있습니다.

  이를 위해 우리는 규모, 제조 가능성, 프로그래밍 가능성 및 신뢰성을 갖는 OC 및 기본 WDM 트랜시버를 구축해야했습니다. Academic Research는 광 스위치의 이점을 조사하는 동안 OCS 기술은 상업적으로 실행 가능하지 않다고 제안했습니다. 여러 해에 걸쳐, 우리는 설계하고 만들었습니다 아폴로 OC 이제는 대부분의 데이터 센터 네트워크의 기초가됩니다.

  OCS의 두드러진 이점 중 하나는 패킷 라우팅 또는 헤더 구문 분석이 작동에 관여하지 않는다는 것입니다. OCS는 단순히 입력 포트에서 놀라운 정밀도 및 작은 손실을 가진 출력 포트로의 빛을 반영합니다. 광은 데이터 센터 건물을 통해 데이터를 안정적이고 효율적으로 전송하는 데 필요한 WDM 트랜시버의 전기 광학 변환을 통해 생성됩니다. 따라서 OC는 그 일부가됩니다 구축 인프라, 데이터 속도 및 파장이 불가지론 적이며 전기 인프라가 전송 및 인코딩 속도에서 40GB/s ~ 100GB/s ~ 200GB/s 및 그 이상으로 이동하더라도 업그레이드가 필요하지 않습니다.

  OCS 계층을 사용하면 데이터 센터 네트워크에서 척추 층을 제거하는 대신 데이터 센터의 클로즈 토폴로지를 넘어서 처음으로 이종 집계 블록을 직접 메쉬로 연결했습니다. 우리는 물리적 용량과 응용 프로그램 커뮤니케이션 패턴을 모두 반영하는 동적 논리 토폴로지를 만들었습니다. 네트워크의 스위치에서 보이는 논리적 연결성을 재구성하는 것은 이제 표준 운영 절차이며, 애플리케이션으로 볼 수있는 영향없이 한 패턴에서 다른 패턴으로 토폴로지를 동적으로 발전시킵니다. 우리는 라우팅 소프트웨어 및 OCS 재구성으로 링크 배수를 조정하여 Orion 소프트웨어 정의 네트워킹 제어 평면에 의존하여 수천 개의 의존적이고 독립적 인 작업을 완벽하게 조정합니다.

  

  무화과. 토폴로지 엔지니어링을 달성하는 여러 OC

  특히 흥미로운 과제는 처음으로 메쉬 토폴로지를 통해 가장 짧은 경로 라우팅이 더 이상 데이터 센터에서 필요한 성능과 견고성을 제공 할 수 없다는 것입니다. 일반적으로 배치 된 Clos Topologies의 부작용은 네트워크를 통해 많은 경로를 사용할 수 있지만 모든 경로는 동일한 길이와 링크 용량을 가지며, 이는 패킷 분포 또는 용감한로드 밸런싱, 충분한 성능을 제공합니다. 목성에서는 SDN 제어 평면을 활용하여 동적을 소개합니다 교통 공학, Google에 개척 된 기술 채택’S B4 WAN : 링크 용량, 실시간 통신 패턴 및 개별 응용 프로그램 우선 순위 (아래 그림의 빨간색 화살표)를 관찰하면서 가장 짧은 및 비 신체 경로로 트래픽을 분할합니다.

  

  무화과. 스위치의 흐름 테이블은 트래픽 엔지니어링을 수행합니다

  종합하면, 우리는 Google에 전원을 공급하는 목성 데이터 센터 네트워크를 반복적으로 완전히 재건했습니다’S Warehouse-Scale Computers는 다음과 같은 많은 산업을 도입합니다

  • 광학 회로는 건물 규모 네트워크의 상호 운용성 지점으로, 이종 기술, 업그레이드 및 서비스 요구 사항을 원활하게 지원합니다.
  • 높은 성능, 낮은 대기 시간, 저렴한 비용 및 더 낮은 전력 소비를위한 직접 메쉬 기반 네트워크 토폴로지.
  • 실시간 유지 보수 및 고장을 관찰하면서 네트워크 연결 및 애플리케이션 우선 순위 및 통신 패턴에 맞게 동시에 적응하기위한 실시간 토폴로지 및 트래픽 엔지니어링.
  • 현지화 된 용량 추가/제거로 인기없는 네트워크 업그레이드, 비싸고 수고가 필요하지 않음 “모든 서비스” 이전에 수백 명의 개별 고객과 서비스가 필요한 스타일 업그레이드 확장 된 건물 다운 타임을위한 서비스를 옮기기 위해.

  기본 기술은 인상적이지만, 우리의 작업의 최종 목표는 Google과 Google Cloud에 가장 까다로운 분산 서비스를위한 혁신적인 기능을 함께 제공하는 성능, 효율성 및 신뢰성을 지속적으로 제공하는 것입니다. 위에서 언급했듯이 목성 네트워크는 40% 적은 전력을 소비하고 30% 저렴한 비용을 발생 시키며 우리가 알고있는 최상의 대안보다 50 배 적은 다운 타임을 제공하면서 흐름 완료를 10% 줄이고 처리량을 30%로 향상시킵니다. 우리는 오늘 Sigcomm 에서이 기술 업적에 대한 세부 정보를 공유하게 된 것을 자랑스럽게 생각하며 커뮤니티와의 연구 결과를 논의하기를 기대합니다.

  일상적인 목성 과이 최신 연구의 저자들에게 일하는 수많은 구글러들에게 축하하고 감사합니다 : Leon Poutievski, Omid Mashayekhi, Joon Ong, Arjun Singh, Mukarram Tariq, Rui Wang, Jianan Zhang, Virginia Beuregard, Patrick Conner, Steve Gribble, Rishi Kapoor, Stephen kapoor, hhen kapoor Karthik Nagaraj, Jason Ornstein, Samir Sawhney, Ryohei Urata, Lorenzo Vicisano, Kevin Yasumura, Shidong Zhang, Junlan Zhou, Amin Vahdat.

  1. 집계 블록은 일반적으로 공동 배치 된 스위치 레이어로 연결된 TOR (Top-of-Rack) 스위치를 포함한 기계 세트 (Compute/Storage/Accelerator) 랙으로 구성됩니다.