Lyria | AI Music Generator

É possível usar o Lyria para gerar novas músicas instrumentais a partir de um comando de texto fornecido no Google Cloud console ou enviado em uma solicitação para a API Gemini na API Vertex AI.

Testar o Lyria na Vertex AI (Vertex AI Studio)

Recursos e fase de lançamento do Lyria

O Lyria oferece recursos de IA generativa para criação de músicas.

A tabela a seguir descreve os recursos que estão disponíveis para todos os usuários:

Locais

Um local é uma região que pode ser especificada em uma solicitação para controlar onde os dados são armazenados em repouso. O Lyria 2 é oferecido no mundo todo. Para conferir a lista de regiões disponíveis para os serviços da Vertex AI, consulte IA generativa em locais da Vertex AI.

Desempenho e limitações

IA responsável

O Lyria gera música instrumental com base em comandos de texto. A Lyria aplica medidas de segurança, incluindo filtros de segurança de conteúdo, verificação de recitação e verificação de intenção do artista para evitar a entrada e a geração de conteúdo nocivo ou inadequado. A marca-d'água do SynthID é usada no áudio gerado. Comandos que violam as diretrizes de IA responsável podem ser bloqueados.

Versões e ciclo de vida do modelo Lyria na Vertex AI

O modelo e a versão do Lyria são os seguintes:

Gerar música com base em texto

Você pode gerar novas músicas instrumentais usando texto descritivo como entrada.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Enable the Vertex AI API.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Enable the Vertex AI API.

Enable the API

1. Configure a autenticação do ambiente.

   Select the tab for how you plan to use the samples on this page:

   Console

   When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

   REST

   Para usar as amostras da API REST nesta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para a CLI gcloud.

   Instale a CLI do Google Cloud. Após a instalação, inicialize a CLI do Google Cloud executando o seguinte comando:

   gcloud init

   Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

   Para mais informações, consulte Autenticar para usar REST na documentação de autenticação do Google Cloud .

   Console

   1. No console do Google Cloud , acesse a página Vertex AI Studio > Media Studio.

      Media Studio

   2. Selecione o modelo Lyria ou a opção de geração de música.

   3. Opcional: no painel Configurações, defina o seguinte:

      • Modelo: escolha lyria-002 se houver várias versões disponíveis.
      • Número de amostras (sample_count): ajuste o número de clipes de áudio a serem gerados para o comando. Não pode ser usado com "Seed".
      • Semente: digite um número inteiro para resultados reproduzíveis. Não pode ser usado com "Número de amostras".

   4. Na caixa Escreva seu comando, insira um comando de texto em inglês dos EUA que descreva a música a ser gerada.

   5. Opcional: na caixa Comando negativo, insira termos ou descrições para excluir da música gerada.

   6. Clique em send Gerar.

   7. Os clipes de áudio gerados vão estar disponíveis para prévia e download como arquivos WAV.

   REST

   Use o método predict para enviar uma solicitação de geração de música. A resposta vai conter diretamente os dados de áudio, geralmente codificados em base64 se a resposta for JSON.

   Para mais informações sobre solicitações de modelo lyria-002, consulte a referência da API do modelo lyria-002.

   Para gerar música, envie uma solicitação POST ao endpoint predict do modelo.

   Solicitação:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002:predict \
     -d '{
       "instances": [
         {
           "prompt": "An uplifting and hopeful orchestral piece with a soaring string melody and triumphant brass.",
           "negative_prompt": " dissonant, minor key",
           "seed": 12345
         }
       ],
       "parameters": {
         // "sample_count": 1 // Use either seed or sample_count
       }
     }'
   

   Resposta:

   Uma solicitação bem-sucedida retorna um objeto JSON que contém os dados de áudio gerados. A aparência será semelhante a esta:

   {
     "predictions": [
       {
         "audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_1",
         "mimeType": "audio/wav"
       },
       {
         "audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_2",
         "mimeType": "audio/wav"
       }
     ],
     "deployedModelId": "xxxxxxxxxxxxxxx",
     "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002",
     "modelDisplayName": "Lyria 2"
   }
   

   Em seguida, decodifique o audioContent (base64) para receber o arquivo de áudio WAV. Cada clipe tem 32,8 segundos de duração.

   A seguir

   • Aprenda a escrever comandos eficazes no guia de comandos de geração de música da Lyria.
   • Confira a referência da API Lyria
   • Conheça outros modelos de IA generativa na Vertex AI
   Envie comentários