:Modelos e algoritmos

DNNClassifier

Introdução

O Deep Neural Network Classifier (DNNClassifier) é uma API avançada fornecida pelo TensorFlow para construir modelos de rede neural profunda (DNN) destinados a previsões binárias ou multiclasse. A API utiliza uma rede multicamadas totalmente conectada para capturar relações não lineares nos dados, treinando e otimizando pesos e vieses para minimizar a perda entre a saída do modelo e a categoria real.

O DNNClassifier oferece os seguintes benefícios:

• Facilidade de uso: atua como uma API avançada que simplifica a construção de modelos de deep learning.

• Modularidade: permite configurar flexivelmente a estrutura da rede, como o número e o tamanho das camadas ocultas.

• Treinamento paralelo: possibilita o uso de CPUs multicore ou GPUs para acelerar o treinamento.

• Múltiplos recursos de entrada: suporta a combinação de recursos numéricos e categóricos.

Parâmetros

Exemplo

### Training
SELECT * FROM iris.train TO TRAIN DNNClassifier WITH
  model.n_classes = 3,
  train.epoch = 10
COLUMN sepal_length, sepal_width, petal_length, petal_width
LABEL class
INTO sqlflow_models.my_dnn_model;

## Prediction
SELECT * FROM iris.test
TO PREDICT iris.predict.class
USING sqlflow_models.my_dnn_model;

XGBoost gbtree

Introdução

O Extreme Gradient Boosting (XGBoost) é um algoritmo eficiente de árvore de gradient boosting, amplamente utilizado para classificação e regressão. O modelo XGBoost gbtree usa árvores de decisão como aprendizes base.

O algoritmo apresenta as seguintes características:

• Alto desempenho: em várias tarefas de classificação, o BoostedTreesClassifier do XGBoost atinge maior precisão do que métodos tradicionais.

• Adaptabilidade: avalia automaticamente a importância dos recursos e se adapta a diferentes distribuições de dados.

• Interpretabilidade: analisa a importância dos recursos, permitindo entender como o modelo toma decisões.

• Prevenção de overfitting: as Boosted Trees podem usar técnicas de regularização para evitar eficazmente o overfitting ao percorrer árvores profundas.

• Capacidade de lidar com valores ausentes: trata adequadamente valores ausentes em uma amostra, evitando problemas de pré-processamento.

• Treinamento paralelo e distribuído: permite treinar modelos eficientemente em grandes conjuntos de dados.

Exemplo

## Used for binary classification
SELECT * FROM train_table
TO TRAIN xgboost.gbtree
WITH objective="binary:logistic", validation.select="SELECT * FROM val_table"
LABEL class
INTO my_xgb_classification_model;

## Used for multi-class classification
SELECT * FROM train_table	
TO TRAIN xgboost.gbtree
WITH objective="multi:softmax", num_class=3, validation.select="SELECT * FROM val_table"
LABEL class
INTO my_xgb_classification_model;

## Used for regression tasks
SELECT * FROM train_table
TO TRAIN xgboost.gbtree
WITH objective="reg:squarederror", validation.select="SELECT * FROM val_table"
LABEL target
INTO my_xgb_regression_model;

GCN

Introdução

Uma Graph Convolutional Network (GCN) é um modelo de deep learning projetado especificamente para processar dados estruturados em grafos, aplicando convoluções sobre o grafo. As GCNs capturam eficazmente relações complexas entre nós e os recursos estruturais profundos dos grafos. Essa capacidade permite analisar dados com estruturas e relacionamentos complexos, como os envolvidos em redes sociais, sistemas de recomendação e redes biológicas. Uma GCN recebe um grafo como entrada, composto por nós e arestas. Em muitos cenários de negócios, os dados podem ser naturalmente representados em uma estrutura de grafo, como redes sociais e grafos de conhecimento. As GCNs utilizam convoluções de grafos em redes neurais convolucionais (CNNs) e atualizam a representação de cada nó agregando informações de recursos de nós vizinhos. Dessa forma, a representação de um nó inclui os recursos de seus vizinhos.

Cenários

• Análise de redes sociais: execução de tarefas como recomendação de usuários, previsão de relacionamentos e detecção de comunidades.

• Classificação de nós: classificação de nós ou entidades em um grafo de conhecimento ou estrutura similar, prevendo a categoria de um nó específico. Pode ser usado para classificar marcas ou produtos.

• Segmentação de imagens: aplicação em imagens compostas por pixels para melhorar o desempenho da segmentação de imagens e do reconhecimento de objetos.

DNNRegressor

Introdução

O DNNRegressor é uma API avançada fornecida pelo TensorFlow para deep learning em tarefas de regressão. Pertencente ao módulo TensorFlow Estimator, ele processa dados estruturados, como dados em tabelas ou no formato CSV. O DNNRegressor também aprende relações de dados não lineares complexas para prever saídas de valores contínuos, como preços ou probabilidades.

Parâmetros

Exemplo

## Training
SELECT f9, target FROM housing.train
TO TRAIN DNNRegressor WITH model.hidden_units = [10, 20]
COLUMN EMBEDDING(CATEGORY_ID(f9, 1000), 2, "sum")
LABEL target
INTO housing.dnn_model;

## Prediction
SELECT f9, target FROM housing.test
TO PREDICT housing.predict.class USING housing.dnn_model;

RNNBasedTimeSeriesModel

Introdução

O RNNBasedTimeSeriesModel, uma Recurrent Neural Network (RNN), é um modelo de previsão baseado em séries temporais de Long Short-Term Memory (LSTM). Ele prevê valores futuros usando valores passados como recursos. Uma RNN é uma rede neural capaz de processar dados sequenciais. Em cada passo de tempo, as RNNs recebem não apenas os dados do ponto atual, mas também consideram os dados de estado do ponto anterior. São adequadas para processar dados de séries temporais, como preços de ações, leituras de temperatura e linguagem natural.

As RNNs oferecem os seguintes benefícios:

• Capacidade de memória: armazenam informações de entradas anteriores, permitindo capturar dependências de longo prazo em séries temporais.

• Comprimento de entrada dinâmico: lidam com sequências de entrada de qualquer comprimento, o que é especialmente importante para dados de séries temporais.

• Mapeamento não linear: estabelecem relações não lineares entre dados de entrada e saída, possibilitando tarefas complexas de previsão em séries temporais.

• Geração de sequências: além de tarefas de previsão, geram dados de séries temporais, como música e informações textuais.

Parâmetros

Exemplo

## Training
SELECT sepal_length, sepal_width, petal_length, concat(petal_width,',',class) as class 
FROM iris.train 
TO TRAIN sqlflow_models.RNNBasedTimeSeriesModel WITH
    model.n_in=3,
    model.stack_units = [10, 10],
    model.n_out=2,
    model.model_type="lstm",
    validation.metrics= "MeanAbsoluteError,MeanSquaredError"
LABEL class
INTO sqlflow_models.my_dnn_regts_model_2;

## Prediction
SELECT sepal_length, sepal_width, petal_length, concat(petal_width,',',class) as class 
FROM iris.test 
TO PREDICT iris.predict_ts_2.class 
USING sqlflow_models.my_dnn_regts_model_2;

DeepEmbeddingClusterModel

Introdução

O DeepEmbeddingClusterModel combina métodos de deep learning e clustering. É usado principalmente para aprender automaticamente representações de embedding de baixa dimensão dos dados e realizar clustering no espaço de embedding.

O DeepEmbeddingClusterModel oferece os seguintes benefícios:

• Deep learning: utiliza redes neurais profundas para extração de recursos, aprendendo automaticamente representações úteis dos dados e capturando relações não lineares complexas.

• Representação incorporada: projeta dados de alta dimensão em um espaço de embedding de menor dimensão, simplificando o clustering e melhorando seu desempenho.

• Capacidades de clustering: realiza clustering diretamente no espaço de embedding para reduzir a distância entre pontos de dados do mesmo tipo, aumentando a precisão e a interpretabilidade do clustering.

• Capacidades de generalização: na maioria dos casos, processa dados ruidosos e complexos graças às vantagens do deep learning.

• Escalabilidade: processa conjuntos de dados volumosos e itera e atualize dados eficazmente com base em deep learning.

Parâmetros

Exemplo

## Training
SELECT (sepal_length - 4.4) / 3.5 as sepal_length, (sepal_width - 2.0) / 2.2 as sepal_width, (petal_length - 1) / 5.9 as petal_length, (petal_width - 0.1) / 2.4 as petal_width
FROM iris.train
TO TRAIN sqlflow_models.DeepEmbeddingClusterModel
WITH
  model.pretrain_dims = [10,10,3],
  model.n_clusters = 3,
  model.pretrain_epochs=5,
  train.batch_size=10,
  train.verbose=1
INTO sqlflow_models.my_clustering_model;

## Prediction
SELECT (sepal_length - 4.4) / 3.5 as sepal_length, (sepal_width - 2.0) / 2.2 as sepal_width, (petal_length - 1) / 5.9 as petal_length, (petal_width - 0.1) / 2.4 as petal_width
FROM iris.test
TO PREDICT iris.predict.class
USING sqlflow_models.my_clustering_model;