Participe de nossos boletins informativos diários e semanais para obter as atualizações mais recentes e conteúdo exclusivo sobre a cobertura de IA líder do setor. Saber mais
Livpioneira em captura de realidade mista, fez parceria com a Meta para se tornar a solução oficial de captura para headsets de realidade digital sem fio Meta Quest.
Fundada por AJ “DrDoom” Shewki, a Liv assinou uma parceria de vários anos com a Meta para trazer as soluções de captura de realidade mista e câmera digital da Liv para desenvolvedores que publicam no Meta Quest e também para criadores que desejam usar esses recursos nos aplicativos Meta Rift e Quest. Os desenvolvedores estão adicionando agora o recurso para fones de ouvido independentes e ele deve estar disponível para uso dos consumidores nas próximas semanas em jogos de realidade digital.
Uma grande parte do advertising and marketing de jogos hoje combina trailers e conteúdo de vídeo feito pela comunidade de criadores e jogadores dentro dos jogos, e Liv quer continuar apoiando os desenvolvedores em sua missão de alcançar o maior número possível de criadores, jogadores e fãs em XR. Se você pensar bem, Liv provavelmente será a forma como registraremos nossas primeiras experiências no metaverso.
“A primeira e mais importante coisa é que ele rodará nativamente em um Quest”, disse Shewki em entrevista à GamesBeat. “Isso funcionará em um dispositivo independente, no Quest – ou seja, no Quest, Quest 2 e Quest 3 e em todos os próximos dispositivos Quest. Faz parte da nossa parceria com a Meta.”
Shewki acrescentou: “Passamos sete anos construindo tecnologias. Nossa missão sempre foi capacitar as pessoas em VR e AR para jogar e compartilhar seus momentos favoritos com amigos, familiares e fãs. Esta será a primeira vez que poderemos fazer isso diretamente em dispositivos independentes como o Quest.”
A captura de Liv funcionará com Gorilla Tag da One other Axiom; Penguin Paradise (e seu novo jogo Skelly), da Sava Studios; e Babuíno Assustador, de Flixzy.
“One other Axiom constrói espaços totalmente realizados que devem ser compartilhados juntos, como em nosso common jogo Gorilla Tag”, disse David Yee, COO da One other Axiom, em comunicado. “Estamos sempre procurando novas maneiras de oferecer aos nossos jogadores e criadores uma ótima experiência que possam compartilhar com sua família e amigos. Esta parceria entre Liv e Meta fornece acesso à melhor tecnologia de captura e câmera digital, introduzindo novas maneiras de capturar e compartilhar experiências em fones de ouvido. Mal podemos esperar para ver o que a comunidade fará com essas novas ferramentas.”
Um dos principais objetivos iniciais do trabalho period tornar mais fácil para desenvolvedores e criadores capturarem conteúdo autêntico de realidade mista usando um PC com uma câmera externa em aplicativos imersivos e aplicativos de realidade mista que usam os recursos da Meta Quest Presence Platform. Esse trabalho já vem acontecendo há algum tempo e agora passou para dispositivos independentes.
“Será um grande impulso para o conteúdo gerado pelo usuário nos principais aplicativos de VR”, disse Shewki.
Essas possibilidades de captura incluem rastreamento guide, passagem (onde câmeras de vídeo mostram o que está acontecendo no mundo actual enquanto você usa um fone de ouvido), compreensão de cena, ancoragem e oclusão. Este último refere-se a manter um aplicativo de VR no chão e capaz de descobrir quando um objeto do mundo actual bloqueia a visão de um objeto de realidade mista no espaço digital.
Como parte desta parceria, a Meta está descontinuando suas próprias ferramentas de captura de realidade mista (MRC) e a Liv assumirá como solução oficial.
Com Liv, os jogadores de VR podem fazer coisas como tirar uma selfie digital, operar câmeras de primeira e terceira pessoa e realizar captura de realidade mista em tempo actual com câmeras físicas.
Como funciona
O MRC mostrou seu poder como ferramenta para comercializar aplicativos e jogos XR, e Liv acredita que continuará a ser uma ferramenta importante para aumentar o conhecimento dos jogos por meio de conteúdo de vídeo e, portanto, impulsionar as vendas. É particularmente bom para filmar trailers. Um desenvolvedor pode configurar o SDK para funcionar com um jogo em talvez 30 minutos, disse Shewki.
Liv gera uma câmera em um jogo. Seu impacto no desempenho é variável dependendo da complexidade e otimização do jogo. Na versão com fio, a especificação mínima para o PC ao qual o fone de ouvido está conectado é uma máquina com unidade de processamento gráfico (GPU) Nvidia 1080 e CPU Intel i7.
Se um PC travar durante o jogo, tudo bem. O Liv App e seu jogo estão dissociados. Se o Liv travar, o jogo continuará rodando e apenas os recursos do Liv deixarão de funcionar para o usuário.
Fundo
Liv atende a comunidade de desenvolvedores de jogos VR desde 2016 e continuará a fazê-lo agora com a ajuda e suporte da Meta, disse Shewki. Mas, na maior parte desse tempo, a tecnologia Liv para capturar vídeos só funcionou com fones de ouvido VR com fio conectados a um PC. A tecnologia começou aí porque period mais fácil ter um aplicativo de gravação rodando junto com um jogo actual usando o poder de um PC. Mas agora os fones de ouvido sem fio VR tornaram-se mais poderosos, assim como a tecnologia Liv.
Agora, a diferença é que ele funcionará com os headsets VR mais populares, os headsets sem fio autônomos Meta Quest, que não precisam estar conectados a um PC. A empresa tem 24 pessoas e estão trabalhando nessa parte há cerca de um ano.
“Passamos os últimos sete anos desenvolvendo tecnologias de câmera para desenvolvedores de aplicativos em VR e criadores de conteúdo e jogadores em VR. Historicamente, estivemos principalmente no Steam. Quando começamos, há sete anos, a VR aberta, ou Steam VR, period a única plataforma disponível”, disse Shewki. “Fizemos uma série de suposições naquela época sobre como a tecnologia deveria funcionar e como deveria se integrar aos jogos. Então, o que estamos lançando é efetivamente aproveitar esses sete anos de aprendizado que aprendemos junto com os desenvolvedores enquanto construímos isso e estamos lançando um novo SDK.”
A empresa possui uma patente para seu sistema de captura e reprodução volumétrica.
Até agora, cerca de 50 a 100 desenvolvedores baixaram o SDK todos os meses. A maioria deles está fazendo jogos e desenvolvendo para sistemas VR conectados ao PC. Muitos deles são para usuários educacionais em escolas e universidades.
O mercado Quest, para headsets autônomos sem fio, é uma ordem de magnitude maior que o mercado PCVR, graças a jogos como Gorilla Tag.
“Esperamos que nosso número mensal de criadores aumente”, disse ele. “Vamos lançar muitos jogos. Nosso objetivo tem sido estar em todos os dispositivos e em todas as plataformas. “
E há alguns jogos onde isso funciona agora.
“Como parte deste anúncio, também estamos entusiasmados em compartilhar que temos vários jogos novos recebendo suporte da Liv, incluindo Gorilla Tag da One other Axiom e Racket Membership da Decision Video games”, disse Shewki.
A pressa para a missão
Com a captura de realidade mista, Liv pode filmar pessoas reais compostas no mundo do jogo, que até agora period usado principalmente para produção de empresas de alto nível. E a Liv também tem um estúdio de produção de trailers na Austrália que usa ferramentas próprias, e a Liv faz trailers para alguns dos maiores desenvolvedores de jogos e plataformas do mundo.
E há o Liv App, que as pessoas usam para captura de realidade mista e uma câmera digital. Mas a limitação é que ele precisa ser conectado a um PC. Agora, ele estará disponível em dispositivos autônomos, sem a necessidade de um PC ou GPU de alta potência em seu PC, e estará disponível nativamente no jogo.
“Você não precisará baixar um aplicativo Liv e executá-lo em paralelo. Você irá gerar a câmera. Você filmará com a câmera, salvará o conteúdo e em breve também transmitirá o conceito nativamente do dispositivo, sem nunca sair de fora”, disse Shewki. “Portanto, é uma solução desenvolvida para pessoas que estão principalmente em Quests e não possuem ferramentas adicionais em seus PCs.”
Para esclarecer, ele disse que se você estiver em uma Quest e estiver jogando principalmente jogos Quest sem um PC, você pode finalmente criar conteúdo de vídeo rico e de alta qualidade a partir de seus aplicativos favoritos usando uma combinação de câmeras selfie, terceira pessoa câmeras, câmeras drone e câmeras de visão em primeira pessoa, com todos os recursos necessários para criar um ótimo conteúdo, disse ele.
O plano de implementação do novo SDK
A versão beta do novo equipment de desenvolvimento de software program da Liv (SDK V1.6) para aplicativos baseados em Unity que suportam recursos da Plataforma Presence já está disponível. O objetivo é desbloquear a capacidade dos desenvolvedores que publicam no Quest, mas constroem no PC, de capturar conteúdo de vídeo de alta qualidade usando câmeras reais e virtuais.
Ainda este ano marcará a chegada da versão beta do SDK V1.6 para aplicativos baseados em Unreal que suportam recursos da Presence Platform. Isso se aplica a aplicativos desenvolvidos no Unreal Engine 4.27 ou posterior.
Todos os recursos do Liv SDK estão incluídos no SDK V1.6, incluindo as câmeras virtuais regulares (primeira pessoa, selfie, terceira pessoa, drone) e avatares.
Após 2024, a Liv busca melhorar as ferramentas para criadores no aplicativo Liv. A carteira de pedidos de Liv cresceu muito ao longo dos anos, disse Shewki.
O Liv SDK para Unity e Unreal são ambos licenciados pelo MIT. É gratuito para desenvolvedores de jogos. Você só pode usar Liv com jogos rodando em PC usando SteamVR e Oculus PCVR/Rift.
Quanto aos trailers, a empresa usou Liv para as capturas brutas, e com um monte de magia de edição e pós-produção, cortesia da Liv Productions.
Sava, o criador da Sava Studios, disse em um comunicado: “Tenho orgulho de dizer que adicionamos LCK ao Penguin Paradise e ao nosso novo jogo Skelly porque queremos dar à nossa comunidade uma maneira de criar o melhor e mais conteúdo de alta qualidade em nosso jogo. .”
“Tenho orgulho de dizer que adicionamos LCK ao Penguin Paradise e ao nosso novo jogo Skelly porque queremos dar à nossa comunidade uma maneira de criar o melhor e mais conteúdo de alta qualidade em nosso jogo!”
Questionado se as ferramentas de captura funcionarão nativamente em um fone de ouvido sem fio Quest sem PC, Shewki disse que isso acontecerá.
“Estamos lançando nosso Quest SDK em algumas semanas”, disse Shewki.
Os criadores poderão usar imediatamente os novos recursos da Presence Platform. A captura de realidade mista para aplicativos de passagem tem uma complicação: normalmente é filmada em um native actual e não na frente de uma tela verde, e isso significa que a composição ultimate acontece na pós-produção, pois o desenvolvedor precisa cortar o sujeito humano.
Os recursos de captura da Liv estão sendo integrados ao aplicativo Liv no Steam e, por isso, a empresa disse que está comprometida em ajudar os criadores em todas as plataformas. A empresa vai investir mais no Liv App para PC no Steam. Grande parte do trabalho com Meta se concentra em reforçar o aplicativo para PC no Steam.
Shewki disse que quer que essas câmeras pareçam pertencer ao mundo do jogo.
“Queremos especificamente evitar que as pessoas pensem nisso como ‘Tenho que baixar uma ferramenta adicional’. Terei uma câmera rica disponível que posso gerar a qualquer momento e gravar meus momentos favoritos sem sair do fone de ouvido. E é isso que vai desbloquear”, disse Shewki. “Vamos lançar Gorilla Tag e alguns outros grandes títulos inicialmente. Assim que for lançado, o SDK estará acessível publicamente.”
No aplicativo agora, apenas uma câmera pode estar em execução por vez. Em vez de monetizar os desenvolvedores de jogos, Shewki disse que a empresa monetizará diretamente com a Meta. A empresa garantirá que sua tecnologia possa funcionar em todos os próximos dispositivos populares de AR e VR quando forem lançados, disse ele.
O streaming será a próxima coisa em que Liv trabalhará. Nesse ponto, os jogadores poderão fazer add e transmitir diretamente para Liv. Mas isso ainda não está pronto.