Yeni Cerebras Gofret Ölçekli ‘Andromeda’ Süper Bilgisayarının 13,5 Milyon Çekirdeği Var


Cerebras, yeni yapay zeka süper bilgisayarı Andromeda’yı SC22’de tanıttı. 16 Cerebras CS-2 sisteminde 13,5 milyon çekirdeğe sahip olan Andromeda, bir exaflop AI bilgi işlem ve 120 petaflop yoğun bilgi işlem gücüne sahiptir. Bilgi işlem gücü, Cerebras’ın gofret ölçeğinde, çok çekirdekli işlemcisi WSE-2’dir.

Her bir WSE-2 yonga levhasının aritmetik, bellek ve iletişimi yöneten üç fiziksel düzlemi vardır. Kendi başına, bellek düzleminin 40 GB yerleşik SRAM’i bir bütünü tutabilir. BERTBÜYÜK. Ancak aritmetik düzlemde ayrıca yaklaşık 850.000 bağımsız çekirdek ve 3,4 milyon FPU vardır. Bu çekirdekler, iletişim düzleminin kartezyen ağı boyunca toplu olarak 20 PB/s kadar dahili bant genişliğine sahiptir.

Andromeda’nın gofret ölçekli işlemcilerinin her biri, bir tarafı 8,5 inç olan bir salata tabağı boyutundadır. Resim: Serebralar

Cerebras, “mükemmele yakın doğrusal ölçekleme” adını verdiği şeyi vurguluyor; bu, belirli bir iş için, iki CS-2’nin o işi birden iki kat daha hızlı yapacağı, üçünün zamanın üçte birini alacağı vb. anlamına geliyor. Nasıl? Cerebras, Andromeda’nın SC-2 sistemlerinin, her gofret üzerindeki çekirdeklerden hepsini koordine eden SwarmX yapısına kadar paralelleştirmeye dayandığını söyledi. Ancak süper bilgisayarın yetenekleri, zaten etkileyici olan 16 düğümünün ötesine geçiyor. Aynı veri paralelleştirmeyi kullanan araştırmacılar, tek bir iş için 192 adede kadar CS-2 sistemini birbirine bağlayabilir.

Andromeda, Epyc Galibiyetleriyle Büyüyor

Andromeda, verilerini 64 çekirdekli AMD EPYC 3 işlemci bankasından alıyor. AMD’nin e-posta yoluyla söylediğine göre bu işlemciler, CS-2 gofretleriyle birlikte çalışarak “geniş bir veri ön ve son işleme yelpazesi” gerçekleştiriyor.

AMD-Epyc-Özellik-3

Cerebras’ın kurucusu ve CEO’su Andrew Feldman, “AMD EPYC, bu tür bir küme için en iyi seçimdir, çünkü benzersiz çekirdek yoğunluğu, bellek kapasitesi ve GÇ sunar. Bu, verileri Andromeda süper bilgisayarına beslemeyi bariz bir seçim haline getirdi.”

Andromeda, on altı ikinci nesil gofret ölçekli motoru arasında 18.164 Epyc 3 çekirdeği üzerinde çalışır. Ancak, bu verim bir bedeli var. Sonuç olarak, sistem zirvede çalışırken yaklaşık 500 kilovat tüketiyor.

Ya büyük oyna ya da hiç oynama

Andromeda dünyadaki en hızlı süper bilgisayar değil. Oak Ridge Ulusal Laboratuvarı’nda nükleer silah simülasyonları yapabilen bir süper bilgisayar olan Frontier, bu yılın başlarında exaflop işaretini geçti. Frontier ayrıca Andromeda’nın 16 bitlik yarı kesinliğine 64 bitlik daha yüksek hassasiyetle çalışır. Ancak her operasyonun nükleer silah seviyesinde hassasiyete ihtiyacı yoktur. Andromeda değil denemek Sınır olmak.

“Onlar daha büyük bir makine. Onları yenmiyoruz. İnşa etmek için 600 milyon dolara mal oldular. Bu, 35 milyon dolardan az,” dedi Feldman.

Andromeda, Argonne Ulusal Laboratuvarı’nda iki binden fazla Nvidia A100 GPU’dan oluşan bir küme olan Polaris’i gasp etmeye de çalışmıyor. Gerçekten de Andromeda gibi Polaris’in kendisi de ön ve son işleme için AMD EPYC çekirdeklerini kullanır. Bunun yerine, her süper bilgisayar biraz farklı türde bir işte üstündür.

Genel olarak konuşursak, CPU’lar geneldir, ASIC’ler (GPU’lar dahil) ve FPGA’lar daha uzmanlaşmıştır. Bu yüzden kripto madencileri GPU’ları seviyor. Blockchain, bir sürü tekrarlayan matematik içerir. Ancak Andromeda hala daha uzmanlaşmıştır. Çoğunlukla sıfırlardan oluşan tensör verilerinin çok boyutlu dizileri olan büyük seyrek matrisleri işlemede mükemmeldir.

Yapay zeka, hem ardışık düzende hem de gerçek yapay zeka hesaplamasında son derece veri yoğundur. Feldman, Andromeda’nın süreci kolaylaştırmak için Epyc işlemcileri kullandığını söyledi. Feldman, verileri koordine etmek ve hazırlamak için “AMD Epyc tabanlı makineler, Cerebras CS-2’lerin dışındaki sunucularda bulunuyor” dedi. Ardından, Andromeda’nın SwarmX ve MemoryX yapıları devralır.

Andromeda, Santa Clara veri merkezindeki evinde. Resim: Serebralar

Bir GPU kümesinin her çekirdek, kart ve sunucu rafı arasında koordinasyon sağlaması gerekir. Bu kaçınılmaz bir gecikmeye neden olur. Ağlar büyüdükçe ve daha karmaşık hale geldikçe, üstel bir bellek ek yükü de vardır. Buna karşılık, WSE-2 bilgi hattının çoğunu aynı donanım parçası içinde işler. Aynı zamanda, Cerebras’ın çok çekirdekli gofret ölçekli işlemcileri, tek bir (devasa) silikon parçasında bir tüketici CPU’su veya GPU’sundan daha fazlasını yapabilir. Bu, Andromeda’nın son derece paralel görevleri yerine getirmesine olanak tanır.

Büyük Dil Modelleri

Bir Formula 1 yarış arabasının yüzey caddelerinde boşa harcanması gibi, Andromeda da büyük ölçekte adımlarını atıyor. Bu, hiçbir yerde büyük dil modelleriyle (LLM’ler) kontrolden çıkmış başarısından daha belirgin değildir.

Tüm İngilizce dilindeki her kelime için bir satır ve sütun içeren bir Excel elektronik tablosu hayal edin. Doğal dil işleme modelleri, sözcükler arasındaki ilişkileri izlemek için matrisler, elektronik tablolardan farklı olmayan özel ızgaralar kullanır. Bu modeller milyarlarca, hatta on milyarlarca parametreye sahip olabilir. Dizileri 50.000 jeton uzunluğunda olabilir. Eğitim seti büyüdükçe, üstel ek yükün tekrar ortaya çıkacağını düşünürsünüz. Ancak LLM’ler genellikle Andromeda’nın sevdiği seyrek tensörleri kullanarak çalışır.

Andromeda’nın CS-2 düğümlerinin on altısının tamamı. Resim: Serebralar

AstraZeneca ve GlaxoSmithKline dahil olmak üzere Andromeda müşterileri, COVID genomu ve epigenom da dahil olmak üzere “omikleri” araştırmak için Andromeda’daki LLM’leri kullanmanın başarısını bildiriyor. Ulusal Enerji Teknolojisi Laboratuvarı’ndaki bir deney sırasında bilim adamları, Andromeda ile Polaris’in basitçe tamamlayamadığı “GPU imkansız” çalışmasını yapmayı anlatıyorlar. Ve nükleer bombalar için sayıları ezmeyebilir, ancak Andromeda aynı zamanda füzyon araştırması üzerinde çalışıyor.

“CS-2’nin yapay zeka gücü ile hassas simülasyonu eşleştirmek Lassen Lawrence Livermore Ulusal Laboratuvarı’ndan Brian Spears, “Ulusal Ateşleme Tesisinde atalet hapsi füzyonu (ICF) deneyleri için yeni kapılar açan bir CogSim bilgisayarı yarattı” dedi.

Andromeda Akademi ile Buluşuyor

Andromeda şu anda Santa Clara’daki bir HPC veri merkezi olan Colovore’da yaşıyor. Ancak Cerebras, akademisyenlere ve lisansüstü öğrencilerine Andromeda’yı ücretsiz kullanmaları için de zaman ayırdı.

Makine öğrenimi ve diğer alanlardaki lisansüstü öğrencilerin not etmek isteyebilecekleri başka bir şey daha var: Andromeda, Python ile iyi oynuyor. Makine öğreniminde bu, masa bahisleridir, ancak biz şunu kastediyoruz: Gerçekten kuyu. Cerebras, “bir Jupyter dizüstü bilgisayardan hızlı ve zahmetsiz bir şekilde Andromeda’ya bir AI işi gönderebilirsiniz ve kullanıcılar birkaç tuşa basarak bir modelden diğerine geçebilir” diyor.

Birleşik Krallık’taki Cambridge Üniversitesi’nde doktora adayı olan Mateo Espinosa, “Cerebras’ın lisansüstü öğrencilerine bu kadar büyük bir kümeye ücretsiz erişim sağlaması olağanüstü” dedi. Daha önce Cerebras’ta çalışmış olan Espinosa, açıklanabilir yapay zeka üzerine tezi için Andromeda ile çalışıyor. “Andromeda, dağıtılmış bilgi işlem ve paralel programlama sıkıntısı olmadan 13,5 milyon yapay zeka çekirdeği ve en büyük dil modellerinde mükemmele yakın doğrusal ölçeklendirme sunuyor. Bu, her makine öğrenimi yüksek lisans öğrencisinin hayalidir.”

Makine öğrenimi, sürekli büyüyen bir veri nehrinde akıntıya karşı yüzmek zorundadır. Bir noktaya kadar, göreve daha fazla bilgi işlem donanımı atabiliriz. Ancak ağlar içinde ve ağlar arasında gecikme hızla artmaya başlar. Belirli bir sürede aynı miktarı elde etmek için, probleme daha fazla enerji harcamanız gerekir. Büyük veri hacmi, verimi kendi darboğazı haline getirir. Bu “üçlü nokta”, Cerebras’ın damgasını vurmaya çalıştığı yerdir.

Andromeda’nın tüm görüntüleri Cerebras’ın izniyle.

Şimdi Oku:




Kaynak : https://www.extremetech.com/extreme/340899-cerebras-unveils-andromeda-ai-supercomputer

Yorum yapın