A Cerebras Systems, uma empresa sediada na Califórnia, bateu seu próprio recorde mundial de chip de IA mais rápido com o lançamento do Wafer Scale Engine 3. Este novo chip oferece o dobro do desempenho do Cerebras WSE-2, consumindo a mesma quantidade de energia e mantendo o mesmo preço.
O WSE-3 foi projetado para treinar os maiores modelos de IA do mercado e possui 4 trilhões de transistores em um design de 5 nm. Ele alimenta o supercomputador Cerebras CS-3 AI, que possui 900.000 núcleos de computação otimizados para IA e pode fornecer um desempenho máximo de 125 petaflops.
Modelos de IA como o GPT têm recebido muita atenção devido às suas capacidades impressionantes. No entanto, as empresas de tecnologia reconhecem que esses modelos ainda estão em estágios iniciais de desenvolvimento e precisam de mais melhorias para revolucionar completamente o mercado.
Para alcançar isso, os modelos de IA precisam ser treinados em conjuntos de dados ainda maiores, o que requer infraestruturas ainda mais poderosas. Isso levou ao surgimento da fabricante de chips Nvidia, cuja oferta H200 está disponível comercialmente e é amplamente utilizada para treinar modelos de IA, com 80 bilhões de transistores. No entanto, a Cerebras pretende ultrapassar ainda mais os limites com seu chip WSE-3, que promete um aumento de desempenho de 57 vezes.
O WSE-3 utiliza a arquitetura de 5 nm e foi projetado para fornecer 900.000 núcleos otimizados para processamento de dados de IA quando usado no supercomputador CS-3. O CS-3 possui 44 GB de SRAM no chip e pode armazenar 24 trilhões de parâmetros em um único espaço de memória lógica, simplificando o fluxo de trabalho de treinamento e melhorando a produtividade do desenvolvedor.
A memória externa do CS-3 pode ser expandida para até 1,2 petabytes para treinar modelos dez vezes maiores que o GPT-4 ou Gemini. O CS-3 pode ser configurado para atender às necessidades de empresas ou de hiperescala. Em uma configuração de quatro sistemas, ele pode treinar modelos de IA com 70 bilhões de parâmetros diariamente e, em uma configuração de sistema 2048, pode treinar o modelo Llama de 70 bilhões de parâmetros do zero em um dia.
O mais recente Cerebras Software Framework oferece suporte nativo para PyTorch 2.0 e os mais recentes modelos e técnicas de IA, como modelos multimodais, transformadores de visão, uma mistura de especialistas e difusão. A Cerebras é a única plataforma que oferece aceleração de hardware nativa para dispersão dinâmica e não estruturada, o que pode acelerar o treinamento em até 8x.
“O WSE-3 é o chip de IA mais rápido do mundo, desenvolvido especificamente para os mais recentes trabalhos de IA de ponta, desde uma mistura de especialistas até modelos com 24 trilhões de parâmetros. Estamos entusiasmados em trazer o WSE-3 e o CS-3 ao mercado para ajudar a resolver os maiores desafios atuais de IA”, disse Andrew Feldman, CEO e cofundador da Cerebras.
O sistema CS-3 é otimizado para trabalho de IA. Ele oferece mais desempenho de computação, ocupando menos espaço e consumindo menos energia do que qualquer outro sistema. É interessante notar que, enquanto o consumo de energia da GPU dobra de geração em geração, o CS-3 dobra o desempenho, mantendo-se dentro do mesmo envelope de energia.
Outra vantagem do CS-3 é sua facilidade de uso superior. Ele requer 97% menos código do que as GPUs para LLMs e pode treinar modelos que variam de 1B a 24T de parâmetros com um modo puramente paralelo de dados. Além disso, uma implementação padrão de um modelo do tamanho do GPT-3 exigia apenas 565 linhas de código no Cerebras – um recorde do setor.
O CS-3 desempenhará um papel significativo na parceria estratégica entre a Cerebras e a G42. A parceria já proporcionou um enorme desempenho de supercomputador de IA com o Condor Galaxy 1 e o Condor Galaxy 2, ambos entre os maiores supercomputadores de IA do mundo.
Recentemente, a Cerebras e a G42 anunciaram que a construção do Condor Galaxy 3 está em andamento. Ele será construído com 64 sistemas CS-3 e produzirá 8 exaFLOPs de computação de IA, tornando-se um dos maiores supercomputadores de IA do mundo. Esta será a terceira instalação da rede Condor Galaxy, e a parceria estratégica entre a Cerebras e a G42 deverá entregar dezenas de exaFLOPs de computação de IA. O Condor Galaxy já treinou alguns dos principais modelos de código aberto do setor, incluindo Jais-30B, Med42, Crystal-Coder-7B e BTLM-3B-8K.
“Nossa parceria estratégica com a Cerebras tem sido fundamental para impulsionar a inovação na G42 e contribuirá para acelerar a revolução da IA em escala global”, disse Kiril Evtimov, CTO do Grupo G42. “O Condor Galaxy 3, nosso próximo supercomputador de IA com 8 exaFLOPs, está atualmente em construção e em breve elevará a produção total de computação de IA do nosso sistema para 16 exaFLOPs.”
Teste Agora! 
