Índice do Artigo

Artigos

Testamos a Gen-2: IA que cria vídeos com comando de texto

A desenvolvedora Runway já havia impressionado os internautas com o Gen-1, agora com sua segunda versão, os resultados estão ainda mais incríveis

06/07/2023 20:00 Atualizado em 08/03/2024 15:48 0
Testamos a Gen-2: IA que cria vídeos com comando de texto
Créditos: Divulgação: Runway

Estamos vendo um constante crescimento no desenvolvimento das inteligências artificiais (IA) generativas, como ChatGPT e o DALL-E, desenvolvidos pela OpenAI. Mas a empresa Runway, vem se destacando com pesquisa e desenvolvimento de IA’s focadas em edição e geração de conteúdo que tem feito parte deste expressivo grupo de máquinas. 

Seus principais produtos são os modelos de IA’s generativas Gen-1 e a Gen-2, lançada final de março, que têm chamado a atenção ao ser capaz de criar vídeos curtos utilizando somente comandos textuais, resultando em conteúdos que tem agradado muito os usuários dessas ferramentas.

Neste artigo entenderemos como funciona o Gen-2, comentaremos os resultados dos nossos testes na versão gratuita e analisaremos as possibilidades futuras dessa tecnologia na geração de conteúdo criativo.

Como funciona e testes

Para iniciar, é necessário explicar alguns termos, iniciando pelas IAs generativas, que são sistemas capazes de criar conteúdo novo a partir de bancos de dados referenciais existentes, podendo ser imagens, vídeos, áudios ou texto. 

O modelo estatístico que essas IAs geralmente usam, é o modelo de difusão, que funciona por meio de um processo iterativo de adição e remoção de ruído de informações, que gradualmente vai refinando a criação do conteúdo, até atingir um resultado desejado. 

Dentro da difusão, existe ainda a difusão estável, técnica usada para treinar e atualizar modelos de IA de forma gradual, evitando mudanças abruptas que possam levar a instabilidades ou grandes desvios de desempenho. 

Tanto a Gen-1 quanto a Gen-2 usam estes métodos para identificar, tratar e entregar resultados incríveis. A empresa já possui um app gratuito para iOS, o RunwayML, onde os usuários já podem desfrutar destas ferramentas pelos smartphones, demonstrando que as barreiras de criação com IA, não estão mais restritas aos computadores de mesa!

Bom salientar que, para aproveitar 100% da capacidade dos programas da empresa, estão disponíveis dois tipos de assinatura, uma mensal e outra anual. Em ambas as opções, há ainda o tipo Standard e o Pro, ambas dão acesso a mais configurações de edição e liberam maior capacidade de armazenamento; Standard custando 15 e 12 dólares mensal e anual, e a Pro 35 e 28.

A própria Runway se declara uma “empresa que está moldando a próxima era da arte, entretenimento e criatividade humana”, e tem feito isso através de seus programas que vem auxiliando profissionais da área do audiovisual e internautas curiosos a terem uma maior facilidade com a criação de seus conteúdos. 

Estas ferramentas são feitas com o propósito de serem simples de usar, tendo em vista que a empresa procura justamente afastar a ideia de que, para criar conteúdos mais complexos com IA, as pessoas necessitem de experiência prévia na área e plataformas robustas.

Atualmente, existem outras IAs que produzem imagem/vídeo/texto para vídeo, mas nada tem se comparado ao que essas a empresa tem produzido!

Para saber se a empresa conseguiu entregar um programa realmente fácil de usar, testamos seu programa web. E os resultados, por mais que para alguns possam parecer simples, são incríveis por motivos que serão refletidos mais a frente. Vamos aos testes.

Teste 1: “O fluxo do rio Amazonas ao amanhecer”.

As IAs generativas já estão craques em criar cenários deslumbrantes e o Gen-2 não decepcionou ao criar uma cena aérea do amanhecer no Rio Amazonas. A iluminação, os reflexos e o céu, são as partes mais impressionantes nesta criação. Ele também inseriu uma espécie de neblina por cima do rio e algumas ondas no canto da tela. Seria a Pororoca?

Teste 2: “Cena de rua em São Paulo Brasil, durante o meio-dia”.

Tentamos agora um cenário mais complexo, onde ele criou uma rua com movimentação baixa de pedestres e um mix de estilos de prédios que é bem característico da cidade. Só faltou os fios aéreos emaranhados e o caos paulista do meio dia. 

Brincadeiras à parte, o Gen-2 conseguiu novamente trazer iluminação e reflexos incríveis, onde também fez um trabalho de sombreamento excelente e com um céu bastante realista.

Outros detalhes que são interessantes de apontar, é que na lateral inferior esquerda do vídeo, a “câmera” capta a parte interna de um prédio, mas por estar escuro demais, ela só capta os reflexos do que parece ser o umbral da porta e a iluminação interna, isso é incrível!

Teste 3: “Cena de um dia ensolarado em uma praia no Brasil”.

Neste teste houve um contraste do realismo e da estranheza, especialmente se tratando da anatomia das pessoas no vídeo. O pouco que mostra dos rostos e dos braços das pessoas está um pouco bizarro, além de que os alimentos na mesa estão bem distorcidos. 

Observação importante, não havia sido pedido para que fosse inserido pessoas e nem alimentos neste prompt, o Gen-2 teve a liberdade “criativa” de implementar a imagem com estes elementos.

Teste 4: “Cidade medieval com muitos cidadãos, bandeiras decorando a cidade, algumas árvores nas ruas, com um grande castelo dourado ao fundo”.

Aqui resolvemos pedir mais detalhes e ver como o Gen-2 se sairia, mas ele acabou gerando resultados inferiores aos outros prompts, já que alguns elementos ficaram muito mais acentuados do que outros. Ele também não apresentou outros elementos que haviam sido pedidos, como as árvores e o castelo dourado, já os “muitos cidadãos” ficaram em segundo plano. 

O céu, algumas incidências da iluminação e a composição geral, não foram satisfatórios como os anteriores, o que nos mostra que a IA, como já esperado, ainda tem o que evoluir. Bom pontuar que o Gen-2 já está conseguindo reproduzir uma mecânica de movimento e iluminação de tecidos bem impressionante!

Teste 5: “Guerra espacial na órbita de um planeta vermelho com grandes naves e raios laser”.

Por último, o resultado mais interessante foi este prompt de uma batalha espacial, onde foi capaz de gerar uma cena com cores bastantes intensas e um cenário de fundo vívido. A falta do planeta vermelho e as espaçonaves mais geometricamente acentuadas, não diminuem a qualidade do vídeo.

Possuindo o uso de lens flare nos laser’s, a adição de outros astros e diversas naves no fundo, mostra novamente a capacidade do Gen-2 em conseguir criar um cenário contínuo e que, às vezes, supera a expectativa.

Considerações finais

Pela constante aparição de IAs que fazem artes fantásticas e/ou muito realistas nos últimos tempos, algumas pessoas estão ficando cada vez menos impressionadas com os resultados e dimensões que estas ferramentas têm adquirido. 

Mas o Gen-2 não pode ter sua capacidade ignorada, pois tem sido um modelo que tem entregado resultados bastante impressionantes; o “domínio” sobre algumas representações da realidade como a já citada iluminação e mecânica de fluidos, são a cereja do bolo.

A Runway conseguiu produzir uma ferramenta com capacidade de geração de conteúdo incrivelmente promissora para o mercado de arte generativa, abrindo ainda mais um horizonte que já se apresentava frutífero. E é claro que, como todas as IAs, a Gen-2 está em constante fase de aprendizado e com o uso e feedback dos usuários, ela se manterá no radar como um programa constantemente desafiador para seus concorrentes.

Dentre as IA’s que já foram testadas aqui pelo portal, facilmente essa está no top 5 das mais surpreendentes!

Via: AI Magic Tools Gen-2, Modelos de difusão, Difusão estável, Introducing Gen-2: Text to Video, Introducing: Runway for Mobile, Gen-2 by Runway

Participe do grupo de ofertas do Mundo Conectado

Participe do grupo de ofertas do Mundo Conectado

Confira as principais ofertas de Smartphones, TVs e outros eletrônicos que encontramos pela internet. Ao participar do nosso grupo, você recebe promoções diariamente e tem acesso antecipado a cupons de desconto.

Entre no grupo e aproveite as promoções