Ajuste de imagem

Esta página fornece pré-requisitos e instruções detalhadas para o ajuste preciso do Gemini em dados de imagens através da aprendizagem supervisionada.

Exemplos de utilização

A otimização permite-lhe adaptar os modelos Gemini base para tarefas especializadas. Seguem-se alguns exemplos de utilização de imagens:

  • Melhoramento do catálogo de produtos: extraia atributos importantes das imagens (por exemplo, marca, cor, tamanho) para criar e enriquecer automaticamente o seu catálogo de produtos.
  • Moderação de imagens: ajuste um modelo para detetar e denunciar conteúdo impróprio ou prejudicial em imagens, garantindo uma experiência online mais segura.
  • Inspeção visual: prepare um modelo para identificar objetos ou defeitos específicos em imagens, automatizando os processos de controlo de qualidade ou inspeção.
  • Classificação de imagens: melhore a precisão da classificação de imagens para domínios específicos, como imagiologia médica ou análise de imagens de satélite.
  • Recomendações baseadas em imagens: analise imagens para fornecer recomendações personalizadas, como sugerir produtos semelhantes ou artigos complementares.
  • Extração de conteúdo de tabelas: extraia dados de tabelas em imagens e converta-os em formatos estruturados, como folhas de cálculo ou bases de dados.

Limitações

  • Máximo de imagens por exemplo: 30
  • Tamanho máximo do ficheiro de imagem: 20 MB

Para saber mais sobre os requisitos de amostras de imagens, consulte a página Compreensão de imagens.

Formato do conjunto de dados

O fileUri do conjunto de dados pode ser o URI de um ficheiro num contentor do Cloud Storage ou pode ser um URL HTTP ou HTTPS disponível publicamente.

Para ver o exemplo de formato genérico, consulte o Exemplo de conjunto de dados para o Gemini.

Segue-se um exemplo de um conjunto de dados de imagens.

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/longcap100/100.jpeg"
            }
        }, 
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    }, 
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ]
}

Conjuntos de dados de amostragem

Pode usar os seguintes conjuntos de dados de exemplo para saber como otimizar um modelo do Gemini. Para usar estes conjuntos de dados, especifique os URIs nos parâmetros aplicáveis quando criar uma tarefa de ajuste fino supervisionado de um modelo de texto.

Para usar o conjunto de dados de ajuste de amostra, especifique a respetiva localização da seguinte forma:

"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_train_data.jsonl",

Para usar o conjunto de dados de validação de exemplo, especifique a respetiva localização da seguinte forma:

"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_validation_data.jsonl",

O que se segue?