Read CSV file - Platform For AI: Central de Documentação do Alibaba Cloud

Limitações

A configuração no PAI console oferece suporte apenas aos recursos de computação MaxCompute, Realtime Compute for Apache Flink e Deep Learning Containers (DLC).
Para configurar pelo componente PyAlink Script, invoque-o via código. Para mais detalhes, consulte PyAlink Script.

Pré-requisitos

Antes de começar, verifique se você:

(Opcional) Autorizou o PAI a acessar o OSS. Necessário apenas ao definir fileSource como OSS. Para mais detalhes, consulte Conceder as permissões necessárias para usar o Machine Learning Designer.
Configurou o parâmetro Default Resource Preferred by Alink or FlinkML na aba Pipeline Attributes. O sistema usa esse tipo de recurso automaticamente durante a execução dos componentes.

Configure o componente Read CSV File

Escolha um dos métodos abaixo conforme seu fluxo de trabalho.

Método 1: PAI console

Configure o componente na página Visualized Modeling (Designer).

Aba Parameter setting

Parâmetro	Descrição	Padrão
fileSource	Origem do arquivo CSV. Valores válidos: OSS e OTHERS. Selecione OTHERS para usar um servidor HTTP ou caminho HDFS.	—
ossFilePath ou filePath	Caminho do arquivo CSV. Se fileSource for OSS, insira ou selecione um caminho do OSS. Para arquivos menores que 1 GB, faça upload do CSV diretamente pela página Select OSS directory or file. Caso fileSource seja OTHERS, insira um caminho HTTP ou HDFS.	—
Schema	Tipo de dados de cada coluna. Formato: `colname0 coltype0, colname1 coltype1, ...`. Exemplo: `f0 string,f1 bigint,f2 double`. Os tipos de dados devem corresponder aos tipos reais das colunas do CSV. Não use pontos (.) nos nomes dos campos.	—
fieldDelimiter	Delimitador de campo.	`,`
quoteString	Caractere de aspas.	`"`
rowDelimiter	Delimitador de linha.	`\n`
ignoreFirstLine	Ignora a primeira linha. Ative se ela contiver cabeçalhos de coluna.	Off
skipBlankLine	Ignora linhas em branco.	—
handleInvalidMethod	Ação executada quando falha a análise de um valor tensor, vetor ou MTable. O framework de algoritmos Alink define esses tipos com formato de análise fixo. ERROR: interrompe a leitura. SKIP: ignora o valor inválido.	ERROR
lenient	Ação executada quando os tipos de dados ou a contagem de colunas de uma linha não correspondem ao Schema. On: descarta a linha. Off: interrompe a leitura e exibe a linha com erro.	Off

Nota: handleInvalidMethod e lenient controlam modos de falha diferentes. handleInvalidMethod aplica-se a falhas na análise de tipos específicos do Alink (tensor, vetor, MTable). lenient aplica-se a incompatibilidades de schema (tipo de dados ou contagem de colunas incorretos). Configure ambos os parâmetros para definir uma estratégia completa de tratamento de erros.

Aba Execution tuning

Parâmetro	Descrição	Padrão
Number of Workers	Quantidade de nós de computação. Inteiro positivo. Intervalo: 1–9999. Defina em conjunto com Memory per worker.	—
Memory per worker	Memória por nó, em MB. Inteiro positivo. Intervalo: 1024–65536.	—

Método 2: Componente PyAlink Script

Use CsvSourceBatchOp para carregar um arquivo CSV em um componente PyAlink Script.

Todos os exemplos usam CsvSourceBatchOp para inicializar o leitor e encadear métodos .set*() para configurar cada parâmetro.

filePath = 'https://alink-test-data.oss-cn-hangzhou.aliyuncs.com/iris.csv'
schema = 'sepal_length double, sepal_width double, petal_length double, petal_width double, category string'
csvSource = CsvSourceBatchOp()\
    .setFilePath(filePath)\
    .setSchemaStr(schema)\
    .setFieldDelimiter(",")
BatchOperator.collectToDataframe(csvSource)

A tabela a seguir lista todos os parâmetros disponíveis.

Parâmetro	Obrigatório	Padrão	Descrição
`schemaStr`	Sim	—	Tipo de dados de cada coluna. Formato: `colname0 coltype0[, colname1 coltype1[, ...]]`. Exemplo: `f0 string,f1 bigint,f2 double`.
`filePath`	Não	—	Caminho do arquivo CSV.
`fieldDelimiter`	Não	`,`	Delimitador de campo.
`quoteString`	Não	`"`	Caractere de aspas.
`rowDelimiter`	Não	`\n`	Delimitador de linha.
`ignoreFirstLine`	Não	`False`	Defina como `True` se a primeira linha contiver cabeçalhos de coluna.
`skipBlankLine`	Não	`True`	Ignora linhas em branco.
`handleInvalidMethod`	Não	`ERROR`	Ação para valores tensor, vetor ou MTable não analisáveis. `ERROR`: interrompe a leitura. `SKIP`: ignora o valor.
`lenient`	Não	`False`	`True`: descarta linhas com falha na validação de schema. `False`: retorna um erro.