COS veri kaynağı - DataWorks - Alibaba Cloud Dokümantasyon Merkezi

Veri türleri

COS veri kaynakları aşağıdaki veri türlerini destekler.

Tür	Açıklama
STRING	Metin.
LONG	Tamsayı.
BYTES	Bayt dizisi. Metin içeriği, UTF-8 ile kodlanmış bir bayt dizisine dönüştürülür.
BOOL	Mantıksal değer (Boolean).
DOUBLE
DATE	Tarih ve saat türü. Desteklenen biçimler arasında `YYYY-MM-dd HH:mm:ss` ve `yyyy-MM-ddHH:mm:ss` bulunur.

Veri kaynağı oluşturma

Bir veri eşzamanlama görevi geliştirmeden önce DataWorks'te bir veri kaynağı oluşturun. Yordam için bkz. Veri Kaynağı Yönetimi. Yapılandırma kullanıcı arayüzündeki araç ipuçları her parametre için ayrıntılı açıklamalar sunar.

Temel parametreler:

Parametre	Açıklama
Data Source Name	Çalışma alanında benzersiz olan özel veri kaynağı adı. Ad harf, rakam ve alt çizgi (_) içerebilir ancak rakam veya alt çizgi ile başlayamaz.
Region	Paketin bulunduğu bölge. Bölge kimliğini belirtin. Daha fazla bilgi için bkz. Bölgeler ve erişim etki alanları.
Bucket	COS paketinin adı.
Endpoint	COS uç noktası. Daha fazla bilgi için bkz. Bölgeler ve erişim etki alanları.
AccessKey ID	Bu, Tencent Cloud platformundaki `SecretId` değeridir. Konsoldaki API Anahtarı Yönetimi sayfasından elde edebilirsiniz.
AccessKey Secret	Bu, Tencent Cloud platformundaki `SecretKey` değeridir. Konsoldaki API Anahtarı Yönetimi sayfasından elde edebilirsiniz.

Veri eşzamanlama görevi geliştirme

Genel yordam ve yapılandırma ayrıntıları için aşağıdaki bölümleri inceleyin.

Tek tablolu çevrimdışı eşzamanlama görevi

Yordam için bkz. Kodsuz kullanıcı arayüzünde yapılandırma ve Kod düzenleyicide yapılandırma. Kod düzenleyici için tam parametre listesi ve betik örneği ekte yer alır.

Ek: Betik demosu ve parametreler

Çevrimdışı eşzamanlama görevi betiği

Çevrimdışı eşzamanlama görevini kod düzenleyici ile yapılandırırken betik parametrelerini gerektiği gibi biçimlendirin. Daha fazla bilgi için bkz. Kod düzenleyicide yapılandırma. Aşağıdaki bölümlerde bu veri kaynağının okuyucu parametreleri açıklanır.

Okuyucu betik demosu

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "cos",
      "parameter": {
        "datasource": "",
        "object": ["f/z/1.csv"],
        "fileFormat": "csv",
        "encoding": "utf8/gbk/...",
        "fieldDelimiter": ",",
        "useMultiCharDelimiter": true,
        "lineDelimiter": "\n",
        "skipHeader": true,
        "compress": "zip/gzip",
        "column": [
          {
            "index": 0,
            "type": "long"
          },
          {
            "index": 1,
            "type": "boolean"
          },
          {
            "index": 2,
            "type": "double"
          },
          {
            "index": 3,
            "type": "string"
          },
          {
            "index": 4,
            "type": "date"
          }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"
    },
    "speed": {
      "concurrent": 1
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Okuyucu betik parametreleri

Parametre	Açıklama	Gerekli	Varsayılan
datasource	Veri kaynağı adı. Bu değer, DataWorks'te oluşturduğunuz veri kaynağının adıyla eşleşmelidir.	Evet	Yok
fileFormat	Kaynak dosya biçimi. Desteklenen biçimler: `csv`, `text`, `parquet` ve `orc`.	Evet	Yok
object	Dosya yolu. Yıldız işareti (``) joker karakterini ve yol dizilerini destekler. Örneğin, `a/b/1.csv` ve `a/b/2.csv` dosyalarını eşzamanlamak için bu parametreyi `a/b/.csv` olarak ayarlayabilirsiniz.	Evet	Yok
column	Okunacak alanların listesi. `type` kaynak veri türünü, `index` kaynak dosyadaki sıfır tabanlı sütun numarasını ve `value` bir sabit değeri belirtir. `value` kullanıldığında kaynak dosyadan okuma yapmak yerine belirtilen sabit değere sahip bir sütun oluşturulur. Tüm sütunları STRING olarak okumak için aşağıdaki yapılandırmayı kullanın. `"column": [""]` Tek tek sütunları belirtmek için: `"column": { "type": "long", "index": 0 // COS metin dosyasının ilk sütunundan bir LONG alanı alın. }, { "type": "string", "value": "alibaba" // "alibaba" sabit değerine sahip bir STRING alanı oluşturun. }` Not* Her column tanımı `type` parametresini ve `index` veya `value` parametrelerinden birini içermelidir.	Evet	Tüm sütunlar STRING türü olarak okunur.
fieldDelimiter	Veri okurken kullanılan alan ayırıcı. Bir ayırıcı belirtmeniz gerekir; atlanırsa varsayılan olarak virgül (,) kullanılır ve kullanıcı arayüzünde önceden doldurulur. Görünmez karakterler için Unicode kodlamasını girin, örneğin: `\u001b` veya `\u007c`.	Evet	,
lineDelimiter	Satır ayırıcı. Bu parametre yalnızca `fileFormat` değeri `text` olarak ayarlandığında geçerlidir.	Hayır	Yok
compress	Sıkıştırma türü. Varsayılan olarak sıkıştırma uygulanmaz. Desteklenen türler: `gzip`, `bzip2` ve `zip`.	Hayır	Sıkıştırılmamış
encoding	Kaynak dosyaların karakter kodlaması.	Hayır	utf-8
nullFormat	Kaynak dosyada null değeri olarak yorumlanacak dize. Örneğin: `nullFormat` değerini "null" olarak ayarlarsanız kaynak verilerdeki "null" dizesi hedef tabloya NULL değeri olarak eşzamanlanır. `nullFormat` değerini görünmez bir karakter olan `"\u0001"` olarak ayarlayın. Kaynak alanı `"\u0001"` dizesiyse bu alan null alan olarak kabul edilir ve hedef tabloya yazılır. `nullFormat` belirtmezseniz kaynak veriler dönüştürme yapılmadan olduğu gibi hedefe yazılır.	Hayır	Yok
skipHeader	CSV dosyaları için ilk satırın (başlık satırı) atlanıp atlanmayacağını belirtir. `true`: Dosyanın ilk satırı atlanır. `false`: Dosyanın ilk satırı veri kaydı olarak okunur. Not skipHeader parametresi sıkıştırılmış dosyalar için desteklenmez.	Hayır	false
parquetSchema	Parquet dosyalarını okumak için şema. Yalnızca fileFormat değeri parquet olarak ayarlandığında gereklidir. Genel biçim şöyledir: `message MessageTypeName { required\|optional DataType ColumnName; required\|optional DataType ColumnName; ...; }` `parquetSchema` biçim ayrıntıları: `MessageTypeName`: İleti türü adı. `required` veya `optional`: `required` null olmayan bir alanı gösterirken `optional` null değerlere izin verir. Tüm alanları `optional` olarak ayarlamanızı öneririz. `DataType`: Desteklenen Parquet veri türleri arasında `BOOLEAN`, `Int32`, `Int64`, `Int96`, `FLOAT`, `DOUBLE`, `BINARY` (dize türleri için kullanın) ve `fixed_len_byte_array` bulunur. Her alan tanımının sonuna noktalı virgül (;) eklenmelidir, buna sonuncusu da dahildir. Örnek: `{"parquetSchema": "message UserProfile { optional int32 minute_id; optional int32 dsp_id; optional int32 adx_pid; optional int64 req; optional int64 res; optional int64 suc; optional int64 imp; optional double revenue; }" }`	Hayır	Yok
csvReaderConfig	CSV okuyucu için gelişmiş parametreler. Belirtilmezse varsayılan değerler kullanılır.	Hayır	Yok