Tudo bem, meus amigos, estou de volta com outra postagem com base nos meus aprendizados e exploração da IA e como ela se encaixará em nosso trabalho como engenheiros de rede. No submit de hoje, quero compartilhar o primeiro (do que provavelmente será muitos) “botões nerds” que acho que todos devemos estar cientes e como eles afetarão nosso uso das ferramentas de IA e IA. Já posso sentir a emoção na sala. Afinal, não há muito um engenheiro de rede mais do que Ajustando um botão nerd na rede para ajustar o desempenho. E é exatamente isso que faremos aqui. Ajustando nossas ferramentas de IA para nos ajudar a ser mais eficazes.
Primeiro, o requisito ou dois requisitos.
- Existem tantos botões nerds na IA. (Chocker, eu sei.) Então, se todos gostam desse tipo de postagem no weblog, ficaria feliz em retornar em outros posts, onde olhamos para outros “botões” e configurações na IA e como eles funcionam. Bem, eu ficaria feliz em voltar quando os entendi, pelo menos. 🙂
- Mudando qualquer uma das configurações Em suas ferramentas de IA, podem ter efeitos dramáticos nos resultados. Isso inclui aumentar o consumo de recursos do modelo de IA, além de aumentar as alucinações e diminuir a precisão das informações que retornam de seus avisos. Considere -se avisados. Como em todas as coisas, ai, vá em frente e discover e experimente. Mas faça -o em um ambiente de laboratório seguro.
Para o experimento de hoje, mais uma vez estou usando o LMStudio em execução localmente no meu laptop computer, em vez de um modelo de IA público ou hospedado em nuvem. Para mais detalhes sobre por que eu gosto de lmstudio, confira meu último weblog, Criando um playground netai para a experimentação de IA Agentic.
Chega da configuração, vamos entrar nela!
O impacto do tamanho da memória de trabalho, também conhecido como “contexto”
Deixe -me definir uma cena para você.
Você está no meio da solução de problemas de um problema de rede. Alguém relatou, ou notou, instabilidade em um ponto da sua rede, e você recebeu a tarefa alegre de chegar ao fundo dela. Você capturou alguns logs e informações relevantes de depuração, e chegou a hora de passar por tudo para descobrir o que isso significa. Mas você também está usando as ferramentas da IA para ser mais produtivo, 10x seu trabalho, impressionar seu chefe, você sabe todas as coisas que estão acontecendo agora.
Então, você determine ver se a IA pode ajudá -lo a trabalhar com os dados mais rapidamente e chegar à raiz do problema.
Você aciona seu assistente native de IA. (Sim, native – porque quem sabe O que há nas mensagens de depuração? Melhor manter tudo seguro no seu laptop computer.)
Você diz o que está fazendo e colar as mensagens de log.
Depois de receber 120 linhas de troncos no bate -papo, você bate em Enter, levanta os pés, pega seu Arnold Palmer para uma bebida refrescante e aguarda a mágica da AI acontecer. Mas antes que você possa tomar um gole de Aquele chá gelado e bondade de limonadavocê vê que isso apareceu imediatamente na tela:
Oh meu Deus.
“A IA não tem nada a dizer.”!?! Como isso poderia ser?
Você achou uma pergunta tão difícil que a IA não consegue lidar com isso?
Não, esse não é o problema. Confira a mensagem de erro útil de que o LMStudio reagiu:
“Tentando manter os primeiros 4994 tokens quando contexto os transbordamentos. No entanto, O modelo é carregado com o comprimento do contexto de apenas 4096 tokens, o que não é suficiente. Tente carregar o modelo com um comprimento de contexto maior ou forneça uma entrada mais curta. ”
E chegamos à raiz dessa história e demonstração perfeitamente roteirizadas. Toda ferramenta de IA tem um limite para a quantidade de “memória de trabalho” que possui. O termo técnico para esta memória de trabalho é “Comprimento do contexto. ” Se você tentar enviar mais dados para uma ferramenta de IA do que pode se encaixar no comprimento do contexto, você atingirá esse erro ou algo parecido.
A mensagem de erro indica que o modelo foi “carregado com o comprimento do contexto de apenas 4096 tokens”. O que é um “token”, você se pergunta? Responder que pode ser um tópico de uma postagem totalmente diferente do weblog, mas por enquanto, saiba que “tokens” são a unidade de tamanho para a duração do contexto. E a primeira coisa que é feita quando você envia um immediate para uma ferramenta de IA é que o immediate é convertido em “tokens”.
Então, o que fazemos? Bem, a mensagem nos oferece duas opções possíveis: podemos aumentar a duração do contexto do modelo ou podemos fornecer informações mais curtas. Às vezes, não é grande coisa fornecer informações mais curtas. Mas outras vezes, como quando estamos lidando com grandes arquivos de log, essa opção não é prática – todos os dados são importantes.
Hora de girar o botão!
É essa primeira opção, para carregar o modelo com um comprimento de contexto maior, que é o nosso botão nerd. Vamos virar.
De dentro do LMStudio, vá para “Meus modelos” e clique para abrir a interface de configurações para o modelo.
Você terá an opportunity de ver todos os botões que os modelos de IA têm. E como eu mencionei, há muitos deles.
Mas o que nos preocupamos agora é a duração do contexto. Podemos ver que o comprimento padrão deste modelo é de 4096 tokens. Mas suporta até 8192 tokens. Vamos maximizar!
O LMStudio fornece um aviso útil e um motivo provável para o motivo pelo qual o modelo não é o padrão do máximo. O comprimento do contexto leva a memória e os recursos. E aumentá -lo para “um alto valor” pode afetar o desempenho e o uso. Portanto, se esse modelo tivesse um comprimento máximo de 40.960 tokens (o modelo QWEN3 que eu uso às vezes tem um máximo de um máximo), talvez você não queira apenas maximizá -lo. Em vez disso, aumente um pouco de cada vez para encontrar o ponto ideally suited: um comprimento de contexto grande o suficiente para o trabalho, mas não superdimensionado.
Como engenheiros de rede, estamos acostumados a botões de ajuste fino para temporizadores, tamanhos de quadros e muitas outras coisas. Isso é o nosso beco!
Depois de atualizar o comprimento do seu contexto, você precisará “ejetar” e “recarregar” o modelo para a configuração entrar em vigor. Mas uma vez feito, é hora de aproveitar a mudança que fizemos!
E veja isso, com a janela de contexto maior, o assistente de IA conseguiu passar pelos troncos e nos dar um bom artigo sobre o que eles mostram.
Eu particularmente gosto da sombra que ela jogou no meu caminho: “… considere buscar assistência de … um engenheiro de rede qualificado.” Bem jogado, ai. Bem jogado.
Mas o ego machucado à parte, podemos continuar a IA ajudou a solução de problemas com algo assim.
E estamos indo para as corridas. Conseguimos alavancar nosso assistente de IA para:
- Processe uma quantidade significativa de dados de log e depuração para identificar possíveis problemas
- Desenvolva uma linha do tempo do problema (que será tremendous útil no bilhete de suporte e documentos de análise de causa raiz)
- Identifique algumas próximas etapas que podemos fazer em nossos esforços de solução de problemas.
Todas as histórias devem terminar …
E assim você tem, nosso primeiro botão de nerd de Ai – comprimento do contorno. Vamos revisar o que aprendemos:
- Os modelos de IA têm uma “memória de trabalho” que é chamada de “duração do contexto”.
- O comprimento do contexto é medido em “Tokens”.
- Muitas vezes, um modelo de IA suporta um comprimento de contexto mais alto que a configuração padrão.
- Aumentar o comprimento do contexto exigirá mais recursos; portanto, faça as alterações lentamente, não apenas o maximize completamente.
Agora, dependendo da ferramenta de IA que você está usando, talvez você não consiga ajustar o comprimento do contexto. Se você estiver usando uma IA pública como ChatGPT, Gemini ou Claude, o comprimento do contexto dependerá da assinatura e dos modelos aos quais você tem acesso. No entanto, definitivamente há um comprimento de contexto que levará em consideração a “memória de trabalho” a ferramenta de IA. E estar ciente desse fato, e seu impacto em como você pode usar a IA é importante. Mesmo que o botão em questão esteja atrás de uma fechadura e chave. 🙂
Se você gostou desse visible sob o capô da IA e gostaria de aprender sobre mais opções, informe -me nos comentários: você tem um “botão” favorito que gosta de virar? Compartilhe com todos nós. Até a próxima vez!
PS … se você quiser aprender mais sobre o uso do LMStudio, meu amigo Jason Belk Coloque um tutorial grátis chamado Execute seu próprio LLM localmente de graça e com facilidade Isso pode começar você muito rapidamente. Confira!
Inscreva -se para Cisco U. | Junte -se aoCisco Studying Community hoje de graça.
Aprenda com a Cisco
X|Tópicos| Fb|LinkedIn|Instagram|YouTube
Usar #Ciscou e#CiscocertPara participar da conversa.
Leia a seguir:
Criando um playground netai para a experimentação de IA Agentic
Compartilhar: