Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Importante
Esse recurso está em uma versão prévia.
Este artigo descreve o Azure Databricks AI Functions e as funções com suporte.
O que são funções de IA?
As funções de IA são funções internas que você pode usar para aplicar IA, como tradução de texto ou análise de sentimento, em seus dados armazenados no Databricks. Eles podem ser executados em qualquer lugar no Databricks, incluindo o DATAbricks SQL, notebooks, DLT e Fluxos de Trabalho.
As funções de IA são simples de usar, rápidas e escalonáveis. Os analistas podem usá-los para aplicar data intelligence aos seus dados proprietários, enquanto cientistas de dados e engenheiros de machine learning podem usá-los para criar pipelines de lote de produção.
As Funções de IA fornecem funções de finalidade geral e específicas de tarefas.
-
ai_queryé uma função de uso geral que permite aplicar qualquer tipo de modelo de IA em seus dados. Consulte Função de uso geral:ai_query. - As funções específicas da tarefa fornecem recursos de IA de alto nível para tarefas como resumir texto e tradução. Essas funções específicas de tarefa são alimentadas por modelos de IA generativos de última geração que são hospedados e gerenciados pelo Databricks. Consulte funções de IA específicas da tarefa para funções e modelos com suporte.
Função de finalidade geral: ai_query
A ai_query() função permite aplicar qualquer modelo de IA a dados para tarefas de IA e ML clássicas, incluindo extração de informações, resumo de conteúdo, identificação de fraudes e previsão de receita. Para obter detalhes e parâmetros de sintaxe, consulte ai_query a função.
A tabela a seguir resume os tipos de modelo com suporte, os modelos associados e os requisitos de configuração de ponto de extremidade para cada um deles.
| Tipo | Modelos com suporte | Requisitos |
|---|---|---|
| Modelos de base hospedados pelo Databricks otimizados para o AI Functions | Esses modelos são recomendados para começar a usar cenários de inferência em lotes e fluxos de trabalho de produção:
Outros modelos hospedados pelo Databricks estão disponíveis para uso com o AI Functions, mas não são recomendados para fluxos de trabalho de produção de inferência em lotes em escala. |
O Databricks Runtime 15.4 LTS ou superior é necessário para usar essa funcionalidade. Não requer provisionamento ou configuração de ponto final. O uso desses modelos está sujeito às licenças e termos do desenvolvedor de modelo aplicável e à disponibilidade de região do AI Functions. |
| Modelos de base com ajuste fino | Modelos de base com ajuste fino implantados no Serviço de Modelo de IA do Mosaic | É necessário criar um ponto de extremidade de taxa de transferência provisionada no Serviço de Modelo. Veja ai_query e modelos de base personalizados ou ajustados. |
| Modelos de fundação hospedados fora do Databricks | Modelos disponibilizados usando modelos externos. Consulte os modelos de base do Access hospedados fora do Databricks. | É necessário criar um ponto de extremidade de serviço de modelo externo. |
| Modelos personalizados tradicionais de ML e DL | Qualquer modelo de ML ou DL tradicional, como scikit-learn, xgboost ou PyTorch | É necessário criar um ponto de extremidade do Serviço de Modelo personalizado. |
Usar ai_query com modelos base
O exemplo a seguir demonstra como usar ai_query um modelo de fundação hospedado pelo Databricks.
- Consulte
ai_querya função para obter detalhes e parâmetros de sintaxe. - Consulte exemplos de cenários avançados para obter diretrizes sobre como configurar parâmetros para casos de uso avançados.
SELECT text, ai_query(
"databricks-meta-llama-3-3-70b-instruct",
"Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text
) AS summary
FROM uc_catalog.schema.table;
Usar ai_query com modelos ML tradicionais
ai_query dá suporte a modelos ML tradicionais, incluindo os totalmente personalizados. Esses modelos precisam ser implantados em pontos de extremidade do Serviço de Modelo. Para obter detalhes e parâmetros de sintaxe, confira a função Função ai_query.
SELECT text, ai_query(
endpoint => "spam-classification",
request => named_struct(
"timestamp", timestamp,
"sender", from_number,
"text", text),
returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10
Funções de IA específicas da tarefa
As funções específicas da tarefa têm o escopo de uma determinada tarefa para que você possa automatizar ações rotineiras, como resumos simples e traduções rápidas. O Databricks recomenda essas funções para começar porque elas invocam um modelo de IA generativo de última geração mantido pelo Databricks e não exigem nenhuma personalização.
Consulte Analisar análises de clientes usando o AI Functions para obter um exemplo.
A tabela a seguir lista as funções com suporte e qual tarefa cada uma delas executa.
| Função | Descrição |
|---|---|
| ai_analyze_sentiment | Execute a análise de sentimento no texto de entrada usando um modelo de IA gerativo de última geração. |
| ai_classify | Classifique o texto de entrada de acordo com os rótulos fornecidos usando um modelo de IA gerativo de última geração. |
| ai_extract | Extraia entidades especificadas por rótulos de texto usando um modelo de IA gerativo de última geração. |
| ai_corrigir_gramática | Corrigir erros gramaticais no texto usando um modelo de IA gerativo de última geração. |
| ai_gen | Responda ao prompt fornecido pelo usuário usando um modelo de IA gerativo de última geração. |
| ai_mask | Mascarar entidades especificadas em texto usando um modelo de IA generativo de última geração. |
| ai_similarity | Compare duas cadeias de caracteres e compute a pontuação de similaridade semântica usando um modelo de IA de última geração. |
| ai_summarize | Gere um resumo do texto usando o SQL e o modelo de IA de última geração. |
| ai_translate | Traduza o texto para um idioma de destino especificado usando um modelo de IA gerativo de última geração. |
| ai_forecast | Previsão de dados até um horizonte especificado. Essa função com valor de tabela foi projetada para extrapolar dados de série temporal no futuro. |
| vector_search | Pesquise e consulte um índice Mosaic AI Vector Search usando um modelo de IA gerador avançado. |
Usar funções de IA em fluxos de trabalho do Python existentes
As funções de IA podem ser facilmente integradas em fluxos de trabalho do Python existentes.
O seguinte grava a saída de ai_query em uma tabela de saída:
df_out = df.selectExpr(
"ai_query('databricks-meta-llama-3-3-70b-instruct', CONCAT('Please provide a summary of the following text: ', text), modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)) as summary"
)
df_out.write.mode("overwrite").saveAsTable('output_table')
O seguinte código grava o texto resumido em uma tabela:
df_summary = df.selectExpr("ai_summarize(text) as summary")
df_summary.write.mode('overwrite').saveAsTable('summarized_table')
Usar funções de IA em fluxos de trabalho de produção
Para inferência em lotes em larga escala, você pode integrar funções de IA específicas à tarefa ou a função de finalidade geral ai_query em seus fluxos de trabalho de produção, como Delta Live Table pipelines, Databricks workflows e Structured Streaming. Isso possibilita o processamento em escala de nível industrial. Consulte Executando inferência LLM em lote usando AI Functions para obter exemplos e detalhes.
Monitorar o progresso do AI Functions
Para entender quantas inferências foram concluídas ou falharam e solucionar problemas de desempenho, você pode monitorar o progresso das funções de IA usando o recurso de perfil de consulta.
No Databricks Runtime 16.1 ML ou superior, na janela de consulta do editor de SQL em seu espaço de trabalho:
- Selecione o link Executando--- na parte inferior da janela Resultados brutos. A janela de desempenho aparece à direita.
- Clique em Ver o perfil de consulta para exibir detalhes de desempenho.
- Clique em Consulta de IA para ver as métricas dessa consulta específica, incluindo o número de inferências concluídas e com falha e o tempo total que a solicitação levou para ser concluída.
