Dependendo de a quem perguntar, o boom da IA significa que o acesso a GPUs potentes na nuvem é fácil - ou é quase impossível. O problema é encontrar aGPU certa no fornecedor certo, sem pagar demasiado por recursos de hardware de que não precisa realisticamente, e que estarão disponíveis apenas quando precisar, sem ter de se comprometer com reservas pré-pagas ou contratos muito elevados.
É uma tarefa difícil, e ficamos felizes em aceitar o desafio. Após rigorosos testes e otimização, as novas GPUs da Akamai já estão disponíveis para todos os clientes. Alimentadas pelas placas NVIDIA RTX 4000 Ada Generation, essas GPUs são otimizadas para casos de uso de mídia, mas têm o tamanho certo para uma variedade de cargas de trabalho e aplicações. Os planos do RTX 4000 Ada Generation começam em US$ 0,52 por hora para 1 GPU, 4 CPUs e 16 GB de RAM em seis regiões de computação central:
- Chicago, IL
- Seattle, WA
- Frankfurt, DE Expansão
- Paris, FR
- Osaka, JP
- Singapura, SG Expansão
- Mumbai, IN Expansão (em breve!)
Destaques do caso de utilização
Através do nosso programa beta, os nossos clientes e parceiros fornecedores independentes de software (ISV) puderam testar as nossas novas GPUs, incluindo casos de utilização chave que sabíamos que iriam beneficiar das especificações do plano GPU que concebemos: transcodificação de media e IA leve.
O codificador hospedado na nuvem da Capella Systems, Cambria Stream, lida com codificação ao vivo, inserção de anúncios, criptografia e empacotamento para os eventos ao vivo mais exigentes. É necessária a tecnologia e a configuração certas nos bastidores para que os utilizadores finais possam assistir a eventos transmitidos em direto a partir de todos os dispositivos diferentes e através de infra-estruturas de rede.
"Usando o novo NVIDIA RTX 4000 Ada Generation Dual da Akamai GPU, um único Cambria Stream pode processar até 25 canais de codificação multicamadas de uma só vez, reduzindo significativamente o custo total de computação em comparação com a codificação baseada em CPU."
Ler o comunicado de imprensa completo.
Para além dos nossos clientes de media, trabalhámos com a Neural Magic para avaliar as capacidades de IA das nossas novas GPUs utilizando o nm-vllm, o seu motor de serviço LLM preparado para empresas. Eles utilizaram o seu kit de ferramentas de compressão de código aberto para LLMs, LLM Compressor, para produzir implementações muito mais eficientes com 99,9% de preservação da precisão. Ao testar os modelos mais recentes do Llama 3.1, a Neural Magic utilizou suas otimizações de software para alcançar um custo médio de US$ 0,27 por 1.000 solicitações de resumo usando GPUs RTX 4000, uma redução de 60% no custo em comparação com a implantação de referência.
Comece Agora
Se já tiver uma conta, pode começar imediatamente. Basta selecionar uma região suportada e navegar para o separador GPU na tabela de planos de instâncias de computação.
Comece a utilizar a nossa documentação.
Os programadores que criam e gerem aplicações empresariais são incentivados a contactar as nossas equipas de consultores na nuvem.
Observação: O uso de instâncias da Akamai GPU requer um histórico de faturamento positivo em sua conta, não incluindo códigos promocionais. Se você não conseguir implantar e precisar de acesso a GPU , abra um tíquete de suporte.
Comentários