Use tags personalizadas do Amazon SageMaker para governança de recursos do projeto e rastreamento de custos

Amazon Sage Maker anunciou um novo recurso que você pode usar para adicionar tags personalizadas a recursos criados por meio de um Estúdio unificado Amazon SageMaker projeto. Isso ajuda você a impor padrões de etiquetagem que estejam em conformidade com os padrões da sua organização. políticas de controle de serviço (SCPs) e ajuda a permitir práticas de relatórios de rastreamento de custos em recursos criados em toda a organização.

Como administrador do SageMaker, você pode configurar um perfil de projeto com configurações de tags que serão enviadas para projetos que usam atualmente ou usarão esse perfil de projeto. O perfil do projeto é configurado para transmitir pares de tags de chave e valor necessários ou transmitir a chave da tag com um valor padrão que pode ser modificado durante a criação do projeto. Todas as tags passadas para o projeto resultarão na marcação dos recursos criados por esse projeto. Isso fornece um mecanismo de governança que impõe que os recursos do projeto tenham as tags esperadas em todos os projetos do domínio.

A primeira versão de tags personalizadas para recursos do projeto é suportada por meio de uma interface de programação de aplicativos (API), por meio de Zona de dados da Amazon SDKs. Nesta postagem, veremos casos de uso de tags personalizadas e como usar o Interface de linha de comando da AWS (AWS CLI) para adicionar tags aos recursos do projeto.

O que ouvimos dos clientes

À medida que os clientes continuam a criar e colaborar usando ferramentas da AWS para desenvolvimento de modelos, IA generativa, processamento de dados e análise SQL, eles veem a necessidade de trazer controle e visibilidade aos recursos que estão sendo criados. Para oferecer suporte à conectividade com essas ferramentas da AWS a partir de projetos do SageMaker Unified Studio, muitos tipos diferentes de recursos nos serviços da AWS precisam ser criados. Esses recursos são criados através AWS CloudFormation pilhas (por meio da implantação do ambiente do projeto) pelo serviço Amazon SageMaker. Dos clientes, ouvimos os seguintes casos de uso:

• Os clientes precisam garantir que as práticas de marcação estejam em conformidade com as políticas da empresa por meio do uso de controles da AWS, como SCPs, para criação de recursos. Esses controles bloqueiam a criação de recursos, a menos que tags específicas sejam colocadas no recurso.
• Os clientes também podem começar com políticas para garantir que as tags corretas sejam colocadas quando os recursos são criados, com o objetivo adicional de padronizar os relatórios de recursos. Ao colocar informações identificáveis ​​nos recursos quando criados, eles reforçam consistência e integridade ao realizar relatórios de atribuição de custos e observabilidade.

O cliente Swiss Life usa o SageMaker como uma solução única para catalogação, descoberta, compartilhamento e governança de seus dados corporativos em domínios de negócios. Eles exigem que todos os recursos tenham um conjunto de tags obrigatórias para que seu grupo financeiro fature as organizações de toda a empresa pelos recursos da AWS criados.

“O lançamento de tags de recursos de projeto para o Amazon SageMaker nos permite trazer visibilidade aos custos incorridos em nossas contas. Com esse recurso, podemos atender às diretrizes de marcação de recursos de nossa empresa e ter confiança na atribuição de custos em nossa configuração de múltiplas contas para os recursos criados pelos projetos do Amazon SageMaker.”

– Tim Kopacz, desenvolvedor de software program da Swiss Life

Pré-requisitos

Para começar a usar tags personalizadas, você deve ter os seguintes recursos:

• Um domínio do SageMaker Unified Studio.
• Um AWS Id and Entry Administration (IAM) entidade com privilégios para fazer chamadas da AWS CLI para o domínio.
• Uma entidade do IAM autorizada a fazer alterações na função de provisionamento do IAM do domínio. Se o SageMaker criou isso para você, ele se chamará AmazonSageMakerProvisioning-. A função de provisionamento provisiona e gerencia recursos definidos nos blueprints selecionados em sua conta.

Como configurar tags de recursos do projeto

As etapas a seguir descrevem como você pode configurar tags personalizadas para os recursos do projeto do SageMaker Unified Studio:

1. (Opcional) Atualize a função de provisionamento do SageMaker para permitir chaves de tag específicas.
2. Crie um novo perfil de projeto com tags de recursos de projeto configuradas.
3. Crie um novo projeto com tags de recursos do projeto.
4. Atualize um projeto existente com tags de recursos do projeto.
5. Valide se os recursos estão marcados.

(Opcional) Atualize uma função de provisionamento do SageMaker para permitir valores-chave de tag

O AmazonSageMakerProvisioning- a função tem uma política gerenciada pela AWS com condição aws:TagKeys permitindo que tags sejam criadas por esta função somente se a chave da tag começar com AmazonDataZone. Neste exemplo, alteraremos a chave da tag para começar com strings diferentes. Pular para Crie um novo perfil de projeto com tags de recursos de projeto configuradas se você não precisa que as chaves de tag tenham uma estrutura diferente (como começa com, contém e assim por diante)

1. Abra o AWS Administration Console e vá para EU SOU.
2. No painel de navegação, escolha Funções.
3. Na lista, escolha AmazonSageMakerProvisioning-.
4. Escolha o Permissões guia.
5. Escolher Adicionar permissõese escolha Criar política in-line.
6. Sob Editor de políticasselecione JSON.
7. Insira a seguinte política. Adicione as strings sob a condição aws:TagKeys. Neste exemplo, chaves de tags começando com ACME ou tags de chaves com a correspondência exata de Centro de Custos será criado pela função.

   {
       "Model": "2012-10-17",
       "Assertion": (
           {
               "Sid": "CustomTagsUnTagPermissions",
               "Impact": "Permit",
               "Motion": (
                   "codecommit:UntagResource",
                   "iam:UntagRole",
                   "logs:UntagResource",
                   "athena:UntagResource",
                   "redshift-serverless:UntagResource",
                   "scheduler:UntagResource",
                   "bedrock:UntagResource",
                   "neptune-graph:UntagResource",
                   "quicksight:UntagResource",
                   "glue:UntagResource",
                   "airflow:UntagResource",
                   "secretsmanager:UntagResource",
                   "lambda:UntagResource",
                   "emr-serverless:UntagResource",
                   "elasticmapreduce:RemoveTags",
                   "sagemaker:DeleteTags",
                   "ec2:DeleteTags"
               ),
               "Useful resource": "*",
               "Situation": {
                   "StringEquals": {
                       "aws:ResourceAccount": "${aws:PrincipalAccount}"
                   },
                   "ForAllValues:StringLike": {
                       "aws:TagKeys": (
                           "AmazonDataZone*",
                           "ACME*",
                           "CostCenter"
                       )
                   },
                   "Null": {
                       "aws:ResourceTag/AmazonDataZoneProject": "false"
                   }
               }
           },
           {
               "Sid": "CustomTagsTaggingPermissions",
               "Impact": "Permit",
               "Motion": (
                   "cloudformation:TagResource",
                   "codecommit:TagResource",
                   "iam:TagRole",
                   "glue:TagResource",
                   "athena:TagResource",
                   "lambda:TagResource",
                   "redshift-serverless:TagResource",
                   "logs:TagResource",
                   "secretsmanager:TagResource",
                   "sagemaker:AddTags",
                   "emr-serverless:TagResource",
                   "neptune-graph:TagResource",
                   "bedrock:TagResource",
                   "elasticmapreduce:AddTags",
                   "airflow:TagResource",
                   "scheduler:TagResource",
                   "quicksight:TagResource",
                   "emr-containers:TagResource",
                   "logs:CreateLogGroup",
                   "athena:CreateWorkGroup",
                   "scheduler:CreateScheduleGroup",
                   "cloudformation:CreateStack",
                   "ec2:*"
               ),
               "Useful resource": "*",
               "Situation": {
                   "ForAnyValue:StringLike": {
                       "aws:TagKeys": (
                           "AmazonDataZone*",
                           "ACME*",
                           "CostCenter"
                       )
                   },
                   "StringEquals": {
                       "aws:ResourceAccount": "${aws:PrincipalAccount}"
                   }
               }
           }
       )
   }

É possível definir o escopo da tag de serviço específica da AWS e desmarcar permissões com base em quais blueprints ou recursos estão sendo usados.

Crie um novo perfil de projeto com tags de recursos de projeto configuradas

Use as etapas a seguir para criar um novo perfil de projeto do SQL Analytics com tags personalizadas. O exemplo usa comandos da AWS CLI.

1. Abra o AWS CloudShell console.
2. Crie um perfil de projeto usando o comando CLI a seguir.
   1. O project-resource-tags parâmetro consiste em key (chave de etiqueta), worth (valor da etiqueta) e isValueEditable (booleano indicando se o valor do tag pode ser modificado durante a criação ou atualização do projeto).
   2. O allow-custom-project-resource-tags parâmetro definido como true permite que o criador do projeto crie pares de valores-chave adicionais. A chave precisa estar em conformidade com a política inline do AmazonSageMakerProvisioning- papel.
   3. O project-resource-tags-description parâmetro é um campo de descrição para tags de recursos do projeto. O limite máximo de caracteres é 2.048. A descrição precisa ser passada sempre create-project-profile ou update-project-profile é chamado.

   aws datazone create-project-profile 
     --name "SQL Analytics with Undertaking Useful resource Tags" 
     --description "Analyze your information in SageMaker Lakehouse utilizing SQL" 
     --domain-identifier "$DOMAIN_ID" 
     --region "$REGION" 
     --status ENABLED 
     --project-resource-tags '(
       {
           "key": "ACME-Utility",
           "worth": "SageMaker",
           "isValueEditable": false
       },
       {
           "key": "CostCenter",
           "worth": "123",
           "isValueEditable": true
       }
     )' 
     --allow-custom-project-resource-tags 
     --environment-configurations '(
       {
           "identify": "Tooling",
           "description": "Configuration for the Tooling Atmosphere",
           "environmentBlueprintId": "",
           "deploymentMode": "ON_CREATE",
           "deploymentOrder": 0,
           "awsAccount": {
           "awsAccountId": "$ACCOUNT"
       },
       "awsRegion": {
           "regionName": "$REGION"
       },
           "configurationParameters": {
               "parameterOverrides": (
                   {
                       "identify": "enableSpaces",
                       "worth": "false",
                       "isEditable": false
                   },
                   {
                       "identify": "maxEbsVolumeSize",
                       "isEditable": false
                   },
                   {
                       "identify": "idleTimeoutInMinutes",
                       "isEditable": false
                   },
                   {
                       "identify": "lifecycleManagement",
                       "isEditable": false
                   },
                   {
                       "identify": "enableNetworkIsolation",
                       "isEditable": false
                   }
               )
           }
       },
       {
           "identify": "Lakehouse Database",
           "description": "Creates databases in Amazon SageMaker Lakehouse for storing tables in S3 and Amazon Athena assets in your SQL workloads",
           "environmentBlueprintId": "",
           "deploymentMode": "ON_CREATE",
           "deploymentOrder": 1,
           "awsAccount": {
               "awsAccountId": "$ACCOUNT"
           },
           "awsRegion": {
           "regionName": "$REGION"
           },
           "configurationParameters": {
               "parameterOverrides": (
                   {
                       "identify": "glueDbName",
                       "worth": "glue_db",
                       "isEditable": true
                   }
               )
           }
       },
       {
           "identify": "OnDemand RedshiftServerless",
           "description": "Allows you to create a further Amazon Redshift Serverless workgroup in your SQL workloads",
           "environmentBlueprintId": "",
           "deploymentMode": "ON_DEMAND",
           "awsAccount": {
           "awsAccountId": "$ACCOUNT"
           },
           "awsRegion": {
               "regionName": "$REGION"
           },
           "configurationParameters": {
               "parameterOverrides": (
                   {
                       "identify": "redshiftDbName",
                       "worth": "dev",
                       "isEditable": true
                       },
                       {
                       "identify": "redshiftMaxCapacity",
                       "worth": "512",
                       "isEditable": true
                       },
                       {
                       "identify": "redshiftWorkgroupName",
                       "worth": "redshift-serverless-workgroup",
                       "isEditable": true
                       },
                       {
                       "identify": "redshiftBaseCapacity",
                       "worth": "128",
                       "isEditable": true
                       },
                       {
                       "identify": "connectionName",
                       "worth": "redshift.serverless",
                       "isEditable": true
                       },
                       {
                       "identify": "connectToRMSCatalog",
                       "worth": "false",
                       "isEditable": false
                       }
                   )
               }
           },
           {
               "identify": "OnDemand Catalog for Redshift Managed Storage",
               "description": "Allows you to create extra catalogs in Amazon SageMaker Lakehouse for storing information in Redshift Managed Storage",
               "environmentBlueprintId": "",
               "deploymentMode": "ON_DEMAND",
               "awsAccount": {
               "awsAccountId": "$ACCOUNT"
               },
               "awsRegion": {
                   "regionName": "$REGION"
               },
               "configurationParameters": {
                   "parameterOverrides": (
                       {
                           "identify": "catalogName",
                           "isEditable": true
                       },
                       {
                           "identify": "catalogDescription",
                           "worth": "RMS catalog",
                           "isEditable": true
                       }
                   )
               }
           }
     )'

Este perfil de projeto terá a tag ACME-Utility = SageMaker colocado em todos os projetos associados ao perfil do projeto e não pode ser modificado pelo criador do projeto. A etiqueta CostCenter = 123 pode ter o valor modificado pelo criador do projeto porque o isValueEditable propriedade está definida como true.

Conceda permissões aos usuários para usarem o perfil do projeto durante a criação do projeto. No Autorização seção do perfil do projeto definida Usuários ou grupos selecionados ou Permitir todos os usuários e grupos.

O uso do allow-custom-project-resource-tags parâmetro significa que o criador do projeto pode adicionar suas próprias tags (par chave-valor). A chave deve estar em conformidade com a verificação de condição na política da função de provisionamento (AmazonSageMakerProvisioning-). Se o allow-custom-project-resource-tagsparâmetro é alterado para false depois que um projeto criou tags, as tags criadas pelo projeto serão removidas durante a próxima atualização do projeto.

Atualizações no perfil do projeto

Atualizações nas tags de recursos do projeto são possíveis por meio do update-project-profile comando. O comando substituirá todos os valores no project-resource-tags seção, portanto, certifique-se de incluir o conjunto completo de tags. As atualizações no perfil do projeto são refletidas nos projetos após a execução do update-project comando ou quando um novo projeto é criado usando o perfil do projeto. O exemplo a seguir adiciona uma nova tag, ACME-BusinessUnit = Retail.

Existem três maneiras de trabalhar com o project-resource-tags parâmetro ao atualizar o perfil do projeto.

• Passar uma lista não vazia de tags de recursos do projeto substituirá as tags atualmente configuradas no perfil do projeto.
• Passar uma lista vazia de tags de recursos do projeto limpará todas as tags configuradas anteriormente:
  • --project-resource-tags '()'
• A não inclusão do parâmetro tag de recurso do projeto manterá as tags configuradas anteriormente como estão.

aws datazone update-project-profile 
  --domain-identifier "$DOMAIN_ID" 
  --identifier "$PROJECT_PROFILE_ID" 
  --region "$REGION" 
  --project-resource-tags '(
    {
        "key": "ACME-Utility",
        "worth": "SageMaker",
        "isValueEditable": false
    },
    {
        "key": "CostCenter",
        "worth": "123",
        "isValueEditable": true
    },
    {
        "key": "ACME-BusinessUnit",
        "worth": "Retail",
        "isValueEditable": false
    }
  )'

Crie um novo projeto com tags de recursos do projeto

As etapas a seguir orientam você na criação de um novo projeto que herda tags do perfil do projeto e permite que o criador do projeto modifique um dos valores da tag.

1. Crie um projeto usando o comando CLI de exemplo a seguir.
2. Modifique o CostCenter valor da tag usando o --resource-tags parâmetro. Tags configuradas no perfil do projeto onde o isValueEditable atributo é false será enviado para o projeto automaticamente.

   aws datazone create-project 
     --domain-identifier "$DOMAIN_ID" 
     --region "$REGION" 
     --name "$PROJECT_NAME" 
     --description "New undertaking with tags" 
     --project-profile-id "$PROJECT_PROFILE_ID" 
     --resource-tags '{
           "CostCenter": "456"
       }'

Atualizar projeto existente com tags de recursos do projeto

Para projetos existentes associados ao perfil do projeto, você deve atualizar o projeto para que as novas tags sejam aplicadas.

1. Atualize o projeto usando o comando CLI de exemplo a seguir.
2. Neste cenário, um valor editável precisa ser atualizado e uma nova tag adicionada. Marcação CostCenter terá seu valor padrão substituído como “789” e o novo ACME-Division = Finance tag será adicionada.

   aws datazone update-project 
     --domain-identifier "$DOMAIN_ID" 
     --identifier "$PROJECT_ID" 
     --project-profile-version "newest" 
     --region "$REGION" 
     --resource-tags '{
           "CostCenter": "789",
           "ACME-Division": "Finance"
       }' 

Tags de nível de projeto (aquelas não configuradas no perfil do projeto) precisam ser passadas durante a atualização do projeto para serem preservadas. Para tags com isValueEditable = true configurado a partir do perfil do projeto, qualquer substituição definida anteriormente precisará ser aplicada ou o valor será revertido para o padrão do perfil do projeto.

A validação de recursos está marcada

Valide se as tags estão colocadas corretamente. Um exemplo de recurso criado pelo projeto é a função do IAM do projeto. A visualização das tags desta função deve mostrar as tags configuradas no perfil do projeto.

1. Abra o SageMaker Unified Studio para obter a função do projeto no Detalhes do projeto seção do projeto. O nome da função começa com datazone_usr_role_.
2. Abra o console IAM.
3. No painel de navegação, escolha Funções.
4. Pesquise a função do IAM do projeto.
5. Selecione o Etiquetas guia.
   
   

Conclusão

Nesta postagem, discutimos a marcação de casos de uso relacionados de clientes e explicamos como começar a usar tags personalizadas no Amazon SageMaker para colocar tags nos recursos criados pelo projeto. Ao oferecer aos administradores uma maneira de configurar perfis de projeto com configurações de tags padronizadas, agora você pode ajudar a garantir práticas de marcação consistentes em todos os projetos do SageMaker Unified Studio, mantendo a conformidade com SCPs. Esse recurso atende a duas necessidades críticas dos clientes: impor padrões de etiquetagem organizacional por meio de mecanismos de governança automatizados e permitir relatórios precisos de atribuição de custos em implantações de vários serviços.

Para saber mais, visite Amazon Sage Makerentão comece com Tags de recursos do projeto.

Sobre os autores