No ano passado, as pesquisas de “AI Video Videaker” dispararam mais de 200%. Isso não é um chocante, pois os criadores de todos os lugares procuram maneiras mais rápidas e inteligentes de transformar idéias em visuais. De fato, a própria idéia de ferramentas de IA period fornecer liberdade criativa a todos, seja com um histórico de videoma ou não. Nesta onda vem o Luma Ai Ray3, o mais novo modelo de geração de vídeo da Luma Labs.
Posicionado como um “parceiro de pensamento visible”, o Ray3 é construído para ajudar os criadores a identificar, storyboard e refinar seus vídeos em uma única interface. Pelo menos é para isso que a empresa visa, conforme seu anúncio de lançamento. Alimentado por Ray3 para vídeo e fóton para imagens, o sistema pretende empurrar a criação de vídeo da experimentação à execução, tudo em minutos.
Eu tentei minha mão no novo Ray3. Aqui, eu compartilho tudo sobre isso, minha experiência e como você pode experimentar por si mesmo. Leia!
O que é Luma Ai Ray3?
Na sua essência, a Luma AI Ray3 é a mais recente atualização do modelo de geração de vídeo da Luma Labs, projetada para ultrapassar os limites do Ray2. Diferentemente das iterações anteriores que se concentraram principalmente em renderizar clipes curtos, o Ray3 apresenta uma camada criativa unificada: você pode identificar, experimentar e correr saídas visuais diretas sem sair da interface.
O sistema combina dois motores sob o mesmo teto – Ray3 para vídeo e fóton para imagens. Esse emparelhamento significa que você pode se mover fluidamente entre imagens estáticas e movimento, tratando -as como partes do mesmo processo criativo.
No entanto, o recurso mais interessante que Ray3 traz é sua consistência orientada a referência. O novo modelo de vídeo-geração da IA permite bloquear estilos ou personagens em várias fotos, algo que muitos outros Fabricantes de vídeos da AI ainda luta com.
Principais características do Luma Ai Ray3
Além da criação de vídeo orientada a referência, Ray3 tem uma série de novos recursos. Aqui está um mergulho profundo em tudo isso.
1. Placas para criatividade estruturada
Ray3 apresenta várias placas – Artboard, Storyboard e Moodboard. Isso permite que os criadores organizem idéias cruas em visuais estruturados. Em vez de pular direto para o vídeo, você pode moldar a aparência antes de se comprometer com a geração.
2. Modifique com a linguagem pure
Precisa de mudanças rápidas? Basta digitar instruções como “Make It Anime” e o modelo edita sua imagem ou vídeo de acordo. Isso preenche a lacuna entre as ferramentas de edição profissional e a linguagem criativa cotidiana.
3. Modifique com pistas visuais
Um dos recursos mais novos que eu já vi pessoalmente em uma criadora de vídeos da IA, Ray3, agora permite modificar um vídeo adicionando pistas visuais a ele. O modelo de IA é capaz de interpretar essas dicas e fazer alterações no seu vídeo de acordo.
4. Referência para o estilo e consistência do personagem
Uma das adições mais poderosas: geração baseada em referência. Ao fazer add de uma referência visible, o Ray3 pode manter estilos, ambientes ou até caracteres recorrentes consistentes em várias saídas. A maioria dos criadores de vídeos da IA ainda não tem essa habilidade.
5. Controle de quadro -chave
Os diretores geralmente pensam em termos de quadros -chave, e Ray3 abraça isso. Ao definir um quadro inicial e closing, você pode deixar a IA preencher o movimento intermediário, adicionando uma camada de controle e previsibilidade ao vídeo generativo.
6. Brainstorm e consulta criativa
Além da geração de vídeo, Ray3 funciona como um parceiro de ideia. Seu sistema de consulta pode expandir os prompts difíceis para direções criativas detalhadas, impedindo os blocos criativos.
7. Compartilhar e remix
Todo projeto vem com uma camada interna de “bastidores”. Outros criadores podem ver seu processo, remixar suas saídas e criar colaborativamente, tornando o Ray3 uma ferramenta comunitária como um mecanismo de produção.
8. Geração HDR
Ray3 afirma ser o primeiro modelo do mundo, capaz de fornecer vídeos de HDR de nível de estúdio por meio de geração de cores de alcance dinâmico nativo de alta dinâmica. A ferramenta de vídeo da AI pode gerar impressionantes vídeos em HDR a partir de avisos de texto, imagens SDR e vídeos SDR. Além disso, ele pode até exportá-los como EXR de 16 bits para integração perfeita nos fluxos de trabalho Professional.
Como funciona?
A maioria dos criadores de vídeos da IA (Veja o high 10 aqui) Gere clipes isoladamente, mas o Luma AI Ray3 combina vários modelos e controles em um pipeline. No centro estão dois motores trabalhando juntos:
- Ray3 (modelo de vídeo): Gera sequências de movimento, interpreta solicitações e lida com as transições entre os quadros.
- Fóton (modelo de imagem): Produz fotos, referências e pontos de partida de alta qualidade que podem fluir diretamente para a criação de vídeo.
- Veja como o processo se desenrola quando você usa o Ray3:
- Solicitando ou referenciando: Você começa com um immediate de texto (“faça anime”) ou uma referência visible (uma imagem, um estilo ou um personagem).
- Geração de cena: O Photon gera as fotos, enquanto Ray3 os anima em movimento suave, aplicando iluminação, texturas e efeitos da câmera.
- Direção do quadro -chave: Se você fornecer um quadro de partida e closing, o Ray3 preenche o Betweens, simulando como um diretor planejaria fotos.
- Edições e modificações: Você pode iterar instantaneamente usando a linguagem pure, desde trocas de estilo a mudanças ambientais, sem tocar no software program de edição tradicional.
- Camada de colaboração: Suas saídas e processos podem ser compartilhados, remixados ou estendidos por outros criadores da plataforma.
Como acessar Luma Ai Ray3
Tempo necessário: 5 minutos
Para começar com Luma Ai Ray3, vá para o Dream Machine Platformonde Ray3 está atualmente disponível ao lado do Photon, o modelo de imagem da empresa. Você precisará criar uma conta, após a qual pode explorar o espaço de trabalho da Ray3 diretamente no seu navegador. Basta seguir estas etapas:
- Visite o Dream Machine Platform of Luma Labs aqui.
- Crie uma conta ou assine usando uma existente.
- Você verá 3 opções na tela para escolher: Criar e modificar usando uma imagem, Keyframe com Ray3 e modificar um vídeo.
- Para criar um novo vídeo, clique na opção Criar e modificar. Isso o levará a um storyboard.
- Aqui, você pode inserir seu immediate para gerar o vídeo, além de adicionar uma imagem de referência para gerar o vídeo.
- No canto inferior direito da janela immediate, certifique -se de selecionar o modelo Ray3 e todas as configurações de vídeo conforme necessário.
- Uma vez feito com o immediate, basta pressionar Enter e colocar a IA para funcionar.
- Seu vídeo de 5 segundos será gerado em cerca de 2 a 3 minutos. Você pode fazer o obtain/ compartilhá -lo ou modificá -lo ainda mais usando prompts simples na linguagem pure.
No momento, a Dream Machine está disponível na Internet e no iOS. Ray3, no entanto, parece estar em um modo de teste atualmente em ambos.
Ray3 AI Fabata de vídeo: prática
Tentamos o Ray3 para um novo vídeo em torno de um tema místico usando o seguinte immediate:
Gere uma sequência cinematográfica abrangente de um andarilho solitário – uma figura alta e encoberta com olhos âmbar brilhantes – cruzando um oceano sem fim de nuvens em uma ponte obsidiana flutuante. Cada etapa envia fracas ondulações de luz através da ponte, como se estivesse viva. A câmera desliza para fora para revelar os seres celestes colossais esculpidos em vivos Starlight, suspenso no céu como guardiões antigos.
Suas silhuetas se estendem pelos céus, coroados com halos de luas em órbita. À medida que o viajante avança, os seres lentamente viram a cabeça, iluminando o caminho com cascatas de fogo cósmico dourado.
O viajante para na beira da ponte, o Cloak ondulando, enquanto a cena entra em erupção em uma sinfonia de auroras, atirando em estrelas e humano cósmico ressonante.
Aqui está a saída que a ferramenta de IA gerou:
Como você pode ver, o vídeo é bastante excepcional em termos de qualidade. Ele conseguiu imaginar um cenário totalmente novo, como mencionado no immediate e criou um vídeo bastante sutil e preciso de acordo. Ele até tentou incorporar os detalhes mais finos dentro do immediate, como a iluminação aos pés da figura enquanto ele anda na ponte, bem como seus olhos vermelhos âmbar.
Dito isto, também posso ver algumas inconsistências no vídeo. Alguns dos objetos na extremidade distante estão mudando aleatoriamente formas ao longo do vídeo, enquanto os seres celestes mostrados estão realizando atos totalmente aleatórios. Até a figura com capuz está andando um pouco estranhamente, com o braço desaparecendo totalmente da visão após um ponto.
Ray3 Ai Video Videaker: minha experiência
Também tentei vários outros vídeos, usando avisos de geração de texto simples, bem como alguns com imagens de referência. Embora o Ray3 seja capaz de capturar muito bem o objetivo geral do vídeo, ele tende a falhar nas nuances das coisas e nos detalhes mais delicados. Um vídeo de um jato de caça voando sobre Noida, por exemplo, produziu uma saída totalmente estranha. O tiro inteiro foi instável, e o jato mudou de forma no meio do vídeo. O mesmo acontece com um vídeo de uma dupla indiana de pai e filho jogando bilhar (pool). As bolas na mesa de bilhar pareciam aparecer no ar e depois desaparecerem tão abruptamente.
Eu fiz algumas pesquisas sobre como o Luma Labs sugere melhor o uso do Ray3. De acordo com a empresa, o modelo funciona melhor com “linguagem curta e pure, avisos simples. Embora o Ray3 tenta ser o mais preciso possível para o immediate dado, ele se sente mais confortável com instruções simples e mais curtas que são altamente específicas. Isso também significa que o modelo é mais adequado para vídeos em torno de objetos e ambientes que já foram previstos antes. Dê algo totalmente e tende a segmentar no escuro.
Onde brilha é a mais simples das animações em torno de uma imagem de referência. Basta fazer o add da imagem que deseja animar e fornecerá uma saída de vídeo de alta qualidade, quase a mesma, mesmo sem a necessidade de um immediate. Caso em questão, se você enviar uma imagem de um cachorro, ele o animará com o cachorro balançando a cabeça ou abanando a cauda. Nenhum rápido é necessário. Caso haja alterações, você pode mencionar o mesmo por meio de avisos de acompanhamento, e o Ray3 também os realizará. Muito direto e muito útil.
Conclusão
Embora o Ray3 seja impressionante, sinto que ainda tem um longo caminho a percorrer como uma criadora de vídeos superb de IA. A lista de novos recursos que agora oferece é, sem dúvida, extremamente útil. Animando uma imagem, adicionando um quadro -chave ou mesmo modificando um vídeo usando linguagem pure ou pistas visuais são GameChangers de várias maneiras. Como é sua capacidade de criar vídeos HDR na versão paga.
Mas para chamá -lo de uma ferramenta perfeita de geração de vídeo de IA, haverá um tempo nisso.
Faça login para continuar lendo e desfrutar de conteúdo com curado especialista.