Google прави сървърната математика с Tau Cloud инстанции

В свят, в който законът на Мур се забавя и хардуерът трябва все повече да се проектира съвместно със стека на системния софтуер и приложенията, които работят над него, матрицата от възможни комбинации от хардуер става все по-широка и по-дълбока. Това, повече от всичко друго, показва, че ерата на CPU изчисленията с общо предназначение е към края си. Но също така прави работата по избора на правилния хардуер за вашите специфични работни натоварвания много по-трудна, отколкото да кажем преди две десетилетия или дори преди едно десетилетие, когато X86 сървър с общо предназначение беше най-сигурният залог и почти всички го приемаха, и по този начин видяхме възхода на Intel в центъра за данни.

Тук, през второто десетилетие на 21-ви век, фино детайлизиран капацитет, оразмерен специално за работни натоварвания и таксуван на час, плюс специализация на изчисленията в широк набор от CPU, GPU, FPGA и персонализирани ASIC за изпълнение на AI работни натоварвания в особено, е все по-често правило. Публичният облак позволява на компаниите да тестват коя комбинация от капацитет и възможности е подходяща за тях, преди да поемат големи капиталови ангажименти, поради което виждаме разпространението на изчисленията сред хипермащаберите и създателите на облаци. Нуждата от този рог на изобилието от изчисления за задвижване на техните собствени работни натоварвания и те ни позволяват да ги даваме под наем за нашите. А това означава, че можем да разтоварим угризенията на купувача и изчислителната матрица на хипермащаберите, които също са създатели на облак.

Нищо не доказва това повече от съобщението от Google за новите типове екземпляри на Tau в Google Cloud.

Тау, който повечето от вас знаят, е гръцкият символ, обозначаващ златното сечение, и както Urs Hölzle, старши вицепрезидент по техническата инфраструктура в Google, обяснява на The Next Platform, това име има за цел да предаде, че компанията е опитвайки се да постигнете баланса между изчисления, памет и I/O „точно“ за специфични мащабирани работни натоварвания, които обикновено се изпълняват в гиганта за търсачки и приложения и определен претендент в надпреварата за публичен облак. И за да бъдем точни, видът натоварване, за което говорим, когато продажбите на Google се „мащабират“, е търсачката, уеб обслужването и други подобни натоварвания.

Tau t2d е първият екземпляр в това, което ще бъде семейство от екземпляри, което много вероятно ще включва други процесори, също настроени, за да осигурят по-добри резултати за много специфични работни натоварвания. Екземплярът t2d се основава на реализация с един сокет на процесора “Milan” Epyc 7003 от AMD, който в този случай има максимум 60 активирани ядра и може да бъде разделян на по-малки битове оттам. Специалният чип на Milan има общо 64 ядра, така че четири от тези ядра се използват за управление на KVM хипервайзор и други функции за съхранение и мрежа. Доколкото ни е известно, Google няма пълноценен собствен DPU, който да се справи с тази работа – като по този начин освобождава всички ядра от работа на хипервайзора и неговия I/O, както прави Amazon Web Services със своя собствен „Nitro“ DPU и неговия модифициран KVM хипервизор. Но ние силно подозираме, че Google има SmartNIC по някакъв начин, който може да разтовари някои функции за съхранение и мрежови функции, без да стига чак до DPU. Ето защо екземплярът Tau t2d има 60 ядра от 64 налични за изпълнение на реална работа; в противен случай до 30 процента от ядрата на процесора ще бъдат изгорени в хипервайзора, паметта и входно-изходните разходи.

Нито Google, нито AMD са конкретни относно емисиите и скоростите на този специален чип Milan Epyc 7003, което е досадно, но очаквано. В крайна сметка t2d ще бъде видим, когато е наличен в Google Cloud, така че защо Google просто не ни каже как получава 56 процента по-висока производителност и 42 процента по-добра цена/производителност с екземпляра Tau спрямо екземплярите Arm Graviton2 в Amazon Web Услуги и дори по-голяма граница срещу „Cascade Lake“ Xeon SP екземпляри в Microsoft Azure, изпълняващи SPECrate2017_int_base integer бенчмарк тест.

Ето разликите в производителността, които Google вижда при собствените си SPEC тестове:

Ето и разликите в цена/производителност:

Както можете да видите, Google нормализира тези данни за екземпляра Graviton2 m6g.8xlarge, който има 32 vCPU и 128 GB памет и 12 Gb/sec връзка към мрежата; струва $1,232 на час при поискване за наемане. Екземплярът Tau с 32 vCPU и 128 GB памет ще струва $1,352 на час за наемане при поискване, така че е малко по-скъп, но го компенсира с много по-висока производителност. Въпросът е какво Google плаща на AMD, за да получи тази 64-ядрена част от Milan за t2d инстанцията, а Hölzle нямаше да каже, но намекна силно, когато каза, че начинът да се подобри цена/производителност е да има „по-голяма скорост и по-малко разходи.”

Екземплярът на Microsoft Azure, показан по-горе, който е идентифициран конкретно в този документ, беше екземплярът D32s_v4, който има 32 vCPU и 128 GB памет и 16 Gb/sec мрежа; струва $1,536 на час.

Екземплярът на Microsoft Azure D32s_v4 не използва по-новия „Ice Lake“ Xeon SP, което би намалило донякъде разликата в производителността спрямо Milan и Graviton2 и евентуално разликата цена/производителност, но може би не в зависимост от това какво Microsoft таксува за тях. Екземплярите на Azure DS_v5, базирани на Ice Lake Xeon SP, са в публична предварителна версия от края на април, а екземпляр D32s_v5 ​​с 32 vCPU и 128 GB памет струва само $0,768 на час и би осигурил някъде около 20 процента повече необработена цялостна производителност на ядро ​​и около половината от цената. Когато направим тази математика, ето как изглежда:

Изглеждаше, че Microsoft е успяла да получи страхотна отстъпка за Ice Lake Xeon SP, тъй като силно подозираме, че Microsoft не губи пари в някои случаи, и се развълнувахме. Но Microsoft предупреди в дребния шрифт на това стартиране на екземпляр на Ice Lake, че това е специална цена за предварителен преглед. При това специално ценообразуване, Ice Lake е победителят в съотношението цена/производителност тук, ако целочислената производителност се мащабира, както очакваме, от Cascade Lake до Ice Lake. Да, това е изненадващо и не, не е изненадващо защо Google не проведе тестовете си върху екземплярите на Azure Ice Lake, които все още не са общодостъпни. Но без съмнение Google направи същата математика, която направихме и ние, и се опитва да разбере какво ще трябва да таксува Microsoft, за да съответства на неговата цена/производителност. Отговорът е: Някъде малко под $1,00 на час. Ще видим дали Microsoft ще направи облачната инстанция ламбада, за да си пъхне носа под тази метла.

Всичко, което знаем, е, че конкуренцията е добра и кара всички облачни доставчици да се конкурират силно за долара.

Екземплярите на AWS и Azure се мащабират до 48 и 64 vCPU и чудно е защо Google не увеличи производителността до максимум, за да се похвали още повече. Може би DPU може да бъде полезен тук?

Между другото, това 56-процентно увеличение на производителността дойде от използването на компилатора AMD Optimizing C/C++ (AOCC), който е силно настроен към архитектурата Epyc, точно както компилаторите на Intel са силно настроени за неговите чипове Xeon SP, и Google беше напълно честен когато посочи, че е получил само 25 процента увеличение на производителността спрямо Graviton2 при използване на компилаторите GCC 11 с отворен код. Така че половината от увеличението на производителността идва от компилатора, а половината идва от чипа, а цената спада, защото екземплярът на Tau няма максимална памет и вероятно други характеристики донякъде са намалели. (И следователно Google може да плати по-малко за чипа и да спечели парите.)

Ето как се представят трите различни виртуални машини в сравнителния тест CoreMark, който е популярно средство за измерване на производителността на процесора и по някаква причина Google говори само за цена/производителност тук:

Екземплярът Tau t2d ще бъде наличен през третото тримесечие като екземпляр в Google Compute Engine (еквивалентът на AWS EC2 и Microsoft Azure VM), както и като основен изчислителен тип в Google Kubernetes Engine, услугата на контейнерната платформа също е налична в публичния облак на Google Cloud.

Можем да очакваме Google да има екземпляри на Tau, базирани на други процесори, между другото.

„За нас това е първият екземпляр от семейството на Tau“, казва Hölzle пред The ​​Next Platform. „Ние ще продължим това семейство с други чипсети с течение на времето, надяваме се от AMD, може би от други, и наистина ще създадем конфигурация, която работи много добре за този тип потребители. Мисля, че е наистина страхотно, че сме в състояние да произведем тази празнина в света на X86 без компромис и без да принуждаваме клиентите да прекомпилират и може би да прелицензират софтуера си на различна архитектура. Но, знаете ли, ние виждаме Arm и като конкурент в бъдещето и сме отворени за всяко решение, което работи за клиента. Искам обаче да кажа, че AMD точно сега е очевидно, както показват нашите числа, крачка напред в тази категория на натоварване, дори с Arm Graviton2 там.“

Всички цели в центъра за данни се движат през цялото време. Удивително е, че някой удря нещо. Просто трябва да нажежите мишената, която идва към главата ви, предполагаме, и да продължите да стреляте.