O que são modelos autorregressivos? Séries temporais e IA explicadas

Os modelos autorregressivos são uma das ideias mais importantes na previsão de séries temporais e modelagem de sequências. O nome pode parecer técnico à primeira vista, mas o conceito é surpreendentemente intuitivo.

Um modelo autorregressivo prevê o próximo valor observando os valores anteriores.

Essa é a ideia central.

Por exemplo, a temperatura de amanhã pode depender das temperaturas dos últimos dias. As vendas do próximo mês podem depender das vendas dos meses anteriores. A próxima palavra em uma frase pode depender das palavras que vieram antes dela – a ideia principal que impulsiona os LLMs.

Em todos estes casos, o modelo utiliza o passado para prever o que vem a seguir.

O que significa autorregressivo?

A palavra autorregressiva tem duas partes.

Auto significa eu mesmo.
Regressivo significa prever uma variável usando outras variáveis.

Portanto, autoregressivo significa prever uma variável usando seus próprios valores anteriores.

Em termos simples:

Um modelo autorregressivo prevê o valor atual ou próximo com base nos valores anteriores da mesma variável.

Suponha que estejamos prevendo o tráfego diário do web site. Se o tráfego tiver aumentado continuamente nos últimos dias, um modelo autorregressivo poderá usar esse padrão para estimar o tráfego de amanhã.

Por exemplo:

Segunda-feira: 1000 visitas
Terça-feira: 1100 visitas
Quarta-feira: 1200 visitas
Quinta-feira: ?

O modelo pode prever cerca de 1.300 visitas para quinta-feira porque o padrão recente sugere um aumento de cerca de 100 visitas por dia.

É claro que os dados do mundo actual são raramente tão limpo. Pode haver finais de semana, campanhas, feriados, interrupções ou ruídos aleatórios. Mas a ideia básica permanece a mesma: o passado contém informações úteis sobre o futuro.

O modelo autorregressivo básico

Um modelo autoregressivo simples pode ser escrito como:

xₜ = c + φ₁xₜ₋₁ + εₜ

Isso é chamado de Modelo AR(1).

O modelo diz que valor atual é uma combinação de:

• uma constante,
• o valor anterior,
• e algum erro aleatório.

Então, um AR(1) modelo prevê o valor atual usando apenas uma observação passada.

O modelo autorregressivo geral

Se usarmos mais de um valor anterior, obteremos um modelo mais geral:

xₜ = c + φ₁xₜ₋₁ + φ₂xₜ₋₂ +… + φₚxₜ₋ₚ + εₜ

Isso é chamado de Modelo AR(p).

Aqui, p nos diz quantos valores passados ​​o modelo usa.

Exemplos:

• AR(1) usa um valor anterior.
• RA(2) usa dois valores anteriores.
• RA(5) usa cinco valores anteriores.

Então, se dissermos que um modelo é RA(3)significa que o modelo prevê o valor atual usando as últimas três observações.

Um exemplo simples

Think about que você está tentando prever a demanda de um produto.

As vendas dos últimos cinco dias foram:

Um modelo autorregressivo analisa esses valores de vendas anteriores e tenta aprender a relação entre eles.

Pode descobrir que as vendas de hoje estão fortemente relacionadas com as vendas de ontem. Também poderá descobrir que as vendas de dois ou três dias atrás ainda transmitem algum sinal útil.

Depois que o modelo aprender essa relação, ele poderá prever o dia 6.

Isto é útil porque muitos padrões do mundo actual têm memória. As vendas, os preços das ações, a temperatura, o uso de eletricidade, o tráfego do web site e a demanda dos clientes geralmente dependem do que aconteceu recentemente.

Por que os modelos autorregressivos são úteis?

Os modelos autorregressivos são úteis porque são simples, interpretáveis ​​e poderosos para muitos problemas de previsão.

Funcionam especialmente bem quando a história recente é um bom indicador do futuro próximo.

Por exemplo, se o consumo de electricidade tiver sido elevado durante as últimas horas, poderia permanecerá alto na próxima hora. Se uma ação mostrou um determinado padrão recentemente, os merchants poderia tente usar essas informações para previsões de curto prazo. Se um web site tem alto tráfego hoje, ele poderia continuarão a ter tráfego intenso amanhã.

Outra vantagem é explicabilidade.

Em muitos modelos de aprendizado de máquina, pode ser difícil entender exatamente por que o modelo fez uma previsão. Mas os modelos autorregressivos são mais fáceis de explicar porque a previsão está diretamente ligada aos valores anteriores.

Podemos olhar os coeficientes e entender o quanto cada valor passado contribui para a previsão.

Onde os modelos autorregressivos são usados?

Modelos autorregressivos são amplamente utilizados em análises de séries temporais.

Algumas aplicações comuns incluem:

• Previsão de vendas
• Previsão de demanda
• Análise do preço das ações
• Previsão do tempo
• Previsão econômica

Mas a modelagem autorregressiva não se limita às séries temporais tradicionais.

É também uma ideia-chave por trás dos modelos de linguagem.

Modelos Autoregressivos em Modelagem de Linguagem

Em processamento de linguagem pureos modelos autorregressivos geram texto, um token por vez.

Um token pode ser uma palavra, parte de uma palavra ou até mesmo um caractere, dependendo do modelo. Este é o conceito central que alimenta Grandes modelos de linguagem.

Por exemplo, considere esta frase:

The cat sat on the

Um modelo de linguagem autorregressivo prevê o próximo token com base nos tokens anteriores.

Pode prever:

mat

Então a frase fica:

The cat sat on the mat

Agora o modelo usa a frase atualizada para prever o próximo token. Isso continua um passo de cada vez.

A probabilidade de uma sentença pode ser escrita como:

P (w₁, w₂, w₃, …, wₙ) = P (w₁) × P (w₂ | w₁) × P (w₃ | w₁, w₂) × … × P (wₙ | w₁, …, wₙ₋₁)

Isso significa que cada palavra é prevista com base nas palavras anteriores.

O modelo não gera a frase inteira de uma vez. Ele constrói a frase passo a passo (sequencialmente), usando tokens anteriores como contexto.

Modelos autorregressivos versus não autorregressivos

A diferença entre autoregressivo e Modelos não autorregressivos são:

Limitações dos modelos autorregressivos

Aqui estão as limitações dos modelos autorregressivos:

• Os modelos autorregressivos dependem fortemente de valores passados, por isso podem ter dificuldades quando ocorrem eventos inesperados.
• Um salto repentino nas vendas devido a uma campanha viral pode não ser capturado a menos que variáveis ​​externas sejam incluídas.
• Uma queda na procura causada por problemas de oferta pode não ser compreendida apenas a partir dos valores da procura passada.
• Os modelos autorregressivos tradicionais são principalmente lineares e assumem que o valor atual é uma combinação linear de valores passados.
• Muitos padrões do mundo actual são mais complexos, então modelos avançados como VAR, LSTMs, Transformadorese outros modelos de aprendizagem profunda podem ser úteis.

Conclusão

Os modelos autorregressivos continuam sendo uma das maneiras mais claras de compreender a previsão e a modelagem sequencial. Ao aprender com valores passados, eles oferecem uma estrutura simples, mas poderosa, para prever o que vem a seguir, seja em vendas, dados de sensores ou linguagem.

Embora possam ignorar choques repentinos, comportamento não linear ou influências externas, o seu valor como ponto de partida é inegável. Para qualquer pessoa que discover séries temporais ou IA generativa, elas fornecem uma base sólida para construir.

TLDR: Os modelos autorregressivos usam o passado para prever o futuro.

Sou especializado em revisar e refinar pesquisas, documentação técnica e conteúdo orientados por IA relacionados a tecnologias emergentes de IA. Minha experiência abrange treinamento de modelos de IA, análise de dados e recuperação de informações, o que me permite criar conteúdo que seja tecnicamente preciso e acessível.