Acelere seus dados e fluxos de trabalho de IA conectando -se ao Amazon Sagemaker Unified Studio do Código do Visible Studio

Desenvolvedores e aprendizado de máquina (ML) os engenheiros agora podem se conectar diretamente a Amazon Sagemaker Unified Studio Do editor native do Visible Studio Code (vs Code). Com essa capacidade, você pode manter seus fluxos de trabalho de desenvolvimento existentes e personalizados ambiente de desenvolvimento integrado (IDE) configurações enquanto acessam Amazon Internet Companies (AWS) Analytics e Inteligência synthetic e aprendizado de máquina (AI/ML) Serviços em um ambiente unificado de dados e desenvolvimento de IA. Essa integração fornece acesso contínuo do seu ambiente de desenvolvimento native a infraestrutura escalável para executar o processamento de dados, a análise SQL e os fluxos de trabalho da ML. Ao conectar seu IDE native ao Sagemaker Unified Studio, você pode otimizar seus dados de trabalho de desenvolvimento e IA sem interromper suas práticas de desenvolvimento estabelecidas.

Nesta postagem, demonstramos como conectar seu código VS native ao Sagemaker Unified Studio para que você possa criar dados completos de ponta a ponta e fluxos de trabalho de IA enquanto trabalham em seu ambiente de desenvolvimento preferido.

Visão geral da solução

A arquitetura da solução consiste em três componentes principais:

• Computador native – Sua máquina de desenvolvimento em execução vs código com AWS Toolkit para código do Visible Studio e Microsoft Distant SSH instalado. Você pode se conectar através do Package de ferramentas para extensão de código do Visible Studio no código VS navegando em espaços de estúdio unificados e selecionando seu ambiente de destino.
• Sagemaker Unified Studio – Parte da próxima geração do Amazon Sagemaker, o Sagemaker Unified Studio é um único desenvolvimento de dados e IA, onde você pode encontrar e acessar seus dados e agir sobre ele usando ferramentas familiares AWS familiares para análise SQL, processamento de dados, desenvolvimento de modelos e desenvolvimento generativo de aplicativos de IA.
• Gerente de sistemas da AWS – Um serviço de acesso e gerenciamento remoto e escalável e escalável que permite a conectividade perfeita entre os espaços de estúdio unificados do seu código VS e Sagemaker para otimizar dados e fluxos de trabalho de desenvolvimento de IA.

O diagrama a seguir mostra a interação entre o seu IDE native e o Sagemaker Unified Studio Areas.

Pré -requisitos

Para experimentar a conexão Distant IDE, você deve ter os seguintes pré -requisitos:

• Acesso a um domínio de estúdio unificado de sagema com conectividade com a Web. Para domínios configurados no modo Digital Personal Cloud (VPC)-apenas, seu domínio deve ter uma rota para a Web através de um proxy ou um gateway NAT. Se seu domínio estiver completamente isolado da Web, consulte o documentação para configurar a conexão remota. Se você não tem um domínio de estúdio unificado configuração rápida ou configuração handbook opção.
• Um usuário com credenciais de SSO através Centro de identidade Iam é necessário. Para configurar o acesso ao usuário do SSO, revise o documentação.
• Acesso ou pode criar um estúdio unificado de sagemaker projeto.
• Um jupyterlab ou editor de código Computar espaço com um requisito mínimo de tipo de instância de 8 GB de memória. Neste put up, usamos um ml.t3.giant exemplo. Distribuição de Sagemaker Imagem versão 2.8 ou posterior é suportada.
• Você tem o código estável vs mais recente com o Microsoft Distant SSH (versão 0.74.0 ou posterior) e a AWS Toolkit (versão 3.74.0) instalada na sua máquina native.

Implementação da solução

Para ativar a conectividade remota e conectar -se ao espaço do código VS, preencha as etapas a seguir. Para conectar -se a um espaço de estúdio unificado de sagemaker remotamente, o espaço deve ter acesso remoto ativado.

1. Navegue até o seu espaço JupyterLab ou editor de código. Se estiver funcionando, pare o espaço e escolha Configure espaço Para ativar o acesso remoto, conforme mostrado na captura de tela a seguir.
   
2. Ligar Acesso remoto Para ativar o recurso e escolher Salve e reiniciecomo mostrado na captura de tela a seguir.
   
3. Navegue até o package de ferramentas da AWS em sua instalação native de código vs.
   
4. No Sagemaker Unified Studio guia, escolha Faça login para começar e forneça ao seu Sagemaker Unified Studio Area URL, ou seja, https://.sagemaker..on.aws.
   
5. Você será solicitado a ser redirecionado para o seu navegador da Internet para permitir o acesso às extensões da AWS IDE. Escolher Abrir Para abrir uma nova guia do navegador da internet.
   
6. Escolher Permitir acesso Para conectar -se ao projeto através do código VS.
   
7. Você receberá um Solicitação aprovada Notificação, indicando que agora você tem permissões para acessar o domínio remotamente.
   

Agora você pode voltar ao seu código VS native para acessar seu projeto para continuar construindo trabalhos ETL e pipelines de dados, treinando e implantando modelos ML ou criando aplicativos generativos de IA. Para se conectar ao projeto para processamento de dados e desenvolvimento de ML, siga estas etapas:

1. Escolher Selecione um projeto Para visualizar seus dados e calcular recursos. Todos os projetos no domínio estão listados, mas você só tem acesso a projetos em que você é um membro do projeto.

   

   Você só pode visualizar um domínio e um projeto de cada vez. Para mudar de projeto ou assinar um domínio, escolha o ícone Ellipsis.

   

   Você também pode visualizar os recursos de computação e dados que você criou anteriormente.

2. Conecte seu espaço JupyterLab ou editor de código selecionando o ícone de conectividade, conforme mostrado na imagem a seguir. NOTA: Se esta opção não aparecer como disponível, você poderá ter acesso remoto desativado no espaço. Se o espaço estiver no estado “parado”, passe o mouse sobre o espaço e escolha o botão Join. Isso deve ativar o acesso remoto, iniciar o espaço e conectar -se a ele. Se o espaço estiver no estado “em execução”, o espaço deverá ser reiniciado com acesso remoto ativado. Você pode fazer isso interrompendo o espaço e conectando -o como mostrado abaixo no package de ferramentas.
   

   Outra janela de código VS será aberta que está conectada ao seu espaço de estúdio unificado de sagemaker usando SSH remoto.

3. Navegue até o Explorador Para visualizar os notebooks, arquivos e scripts do seu espaço. No package de ferramentas da AWS, você também pode visualizar suas fontes de dados.
   

Use sua configuração personalizada de código vs com Sagemaker Unified Studio Sources

Quando você conecta o código VS ao Sagemaker Unified Studio, você mantém todos os seus atalhos e personalizações pessoais. Por exemplo, se você usar trechos de código para inserir rapidamente os padrões comuns de análise e código ML, eles continuarão a trabalhar com a infraestrutura gerenciada pelo Sagemaker Unified Studio.

No gráfico a seguir, demonstramos o uso de atalhos de fluxo de trabalho da análise. O snippet de código “Present-Databases” consulta Athena para mostrar bancos de dados disponíveis, “Desk-Glue-Tables” lista tabelas em tabelas em Catálogo de dados da AWS Gluee o “consulta-comércio” recupera dados usando o Spark SQL para análise.

Você também pode usar atalhos para automatizar a construção e o treinamento de um modelo de ML no Sagemaker AI. No gráfico abaixo, os trechos de código mostram processamento, configuração e lançamento de dados de um trabalho de treinamento de IA da Sagemaker. Essa abordagem demonstra como os profissionais de dados podem manter sua configuração acquainted de desenvolvimento enquanto usam dados gerenciados e recursos de IA no Sagemaker Unified Studio.

Desativando o acesso remoto no Sagemaker Unified Studio

Como administrador, se você deseja desativar esse recurso para seus usuários, pode aplicá -lo adicionando a seguinte política à função IAM do seu projeto:

{
    "Model": "2012-10-17",
    "Assertion": (
        {
            "Sid": "DenyStartSessionForSpaces",
            "Impact": "Deny",
            "Motion": (
                "sagemaker:StartSession"
            ),
            "Useful resource": "arn:aws:sagemaker:*:*:area/*/*"
        }
    )
}

Limpar

O Sagemaker Unified Studio, por padrão, desligará os recursos ociosos, como o Jupyterlab e o Code Editor Areas após 1 hora. Se você criou um domínio de estúdio unificado para sagema para os fins deste put up, lembre -se de Exclua o domínio.

Conclusão

Conectando -se diretamente ao Amazon Sagemaker Unified Studio do seu IDE native reduz o atrito da mudança entre o desenvolvimento native e os dados escaláveis ​​e a infraestrutura de IA. Ao manter suas configurações personalizadas de IDE, isso reduz a necessidade de se adaptar entre diferentes ambientes de desenvolvimento. Esteja você processando grandes conjuntos de dados, modelos de fundação de treinamento (FMS) ou criando aplicativos generativos de IA, agora você pode trabalhar na configuração native enquanto acessa as capacidades do Sagemaker Unified Studio. Comece hoje por Conectando seu IDE native ao Sagemaker Unified Studio Para simplificar seus fluxos de trabalho de processamento de dados e acelerar o desenvolvimento do modelo ML.

Sobre os autores