DataWorks:OSS-HDFS

Leitura offline

A conexão de rede entre um grupo de recursos e o OSS-HDFS pode ser complexa. Para executar tarefas de sincronização de dados, utilize um Serverless resource group (recommended) ou um exclusive resource group for Data Integration. Certifique-se de que seu grupo de recursos tenha acesso à rede do OSS-HDFS.

O OSS-HDFS Reader suporta o seguinte:

• Arquivos nos formatos texto, CSV, ORC e Parquet. O conteúdo do arquivo deve representar uma tabela lógica bidimensional.

• Leitura de múltiplos tipos de dados e constantes de coluna.

• Leituras recursivas e os caracteres curinga * e ?.

• Leituras simultâneas de vários arquivos. O número real de threads simultâneas corresponde ao menor valor entre a quantidade de arquivos a serem lidos e a configuração concurrent.

Escrita offline

• O OSS-HDFS Writer aceita apenas os formatos texto, ORC e Parquet. O conteúdo do arquivo deve constituir uma tabela lógica bidimensional.

• Em arquivos de texto, garanta que o delimitador de campo usado na escrita corresponda ao delimitador utilizado na criação da tabela Hive. Isso assegura o mapeamento correto dos dados gravados no OSS-HDFS para os campos da tabela Hive.

Escrita em tempo real

• Oferece suporte a escritas em tempo real.

• Compatível com escritas em tempo real para a versão 0.14.x do formato Hudi.

Leitura offline

O OSS-HDFS Reader converte os tipos de dados de ParquetFile, ORCFile, TextFile e CsvFile para os tipos internos compatíveis com o Data Integration.

Escrita offline

O OSS-HDFS Writer grava arquivos nos formatos TextFile, ORCFile e ParquetFile em um caminho especificado no sistema de arquivos do OSS-HDFS.

Configurar uma tarefa de sincronização offline para uma única tabela

• Para instruções passo a passo, consulte Configure a task in the codeless UI e Configure a task in the code editor.

• Para obter a lista completa de parâmetros e um exemplo de script, veja Appendix: Script demos and parameter descriptions.

Configurar uma tarefa de sincronização em tempo real para uma única tabela

Consulte Single-table real-time synchronization task configuration.

Configurar uma tarefa de sincronização completa e incremental em tempo real para um banco de dados inteiro

Consulte Configure a real-time synchronization task for an entire database.

Exemplo de script do Reader

Todos os parâmetros seguem o formato de script unificado exigido pelo editor de código. Para detalhes sobre o formato, consulte Configure a task in the code editor.

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oss_hdfs",
            "parameter": {
                "path": "",
                "datasource": "",
                "column": [
                    {
                        "index": 0,
                        "type": "string"
                    },
                    {
                        "index": 1,
                        "type": "long"
                    },
                    {
                        "index": 2,
                        "type": "double"
                    },
                    {
                        "index": 3,
                        "type": "boolean"
                    },
                    {
                        "format": "yyyy-MM-dd HH:mm:ss",
                        "index": 4,
                        "type": "date"
                    }
                ],
                "fieldDelimiter": ",",
                "encoding": "UTF-8",
                "fileFormat": ""
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 3,
            "throttle": true,
            "mbps": "12"
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parâmetros do script do Reader

Exemplo de script do Writer

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "oss_hdfs",
            "parameter": {
                "path": "",
                "fileName": "",
                "compress": "",
                "datasource": "",
                "column": [
                    {
                        "name": "col1",
                        "type": "string"
                    },
                    {
                        "name": "col2",
                        "type": "int"
                    },
                    {
                        "name": "col3",
                        "type": "double"
                    },
                    {
                        "name": "col4",
                        "type": "boolean"
                    },
                    {
                        "name": "col5",
                        "type": "date"
                    }
                ],
                "writeMode": "",
                "fieldDelimiter": ",",
                "encoding": "",
                "fileFormat": "text"
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 3,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parâmetros do script do Writer