Object Storage Service:Proses miliaran objek menggunakan Batch Operations

Lingkup

Fitur Batch Operations tersedia sepenuhnya di wilayah Singapura dan Jerman (Frankfurt). Untuk menggunakan fitur ini di wilayah Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Shenzhen), Tiongkok (Guangzhou), Tiongkok (Qingdao), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Hohhot), Tiongkok (Ulanqab), Tiongkok (Chengdu), Tiongkok (Hong Kong), atau Indonesia (Jakarta), hubungi Technical Support untuk mengajukan akses.

Ikhtisar operasi

1. Buat peran RAM: Berikan izin kepada layanan OSS untuk membaca file manifest, menjalankan operasi batch, dan menghasilkan laporan.

1. Siapkan manifest input: Tentukan objek yang akan diproses menggunakan daftar bucket (manifest.json), awalan, atau file manifest CSV (manifest.csv).

2. Buat pekerjaan: Konfigurasikan operasi spesifik—seperti pemberian tag, pengaturan izin, atau pemulihan objek—lalu kirimkan pekerjaan tersebut.

3. Kelola dan rawat pekerjaan: Pantau status pekerjaan, konfirmasi pekerjaan tertunda, lihat laporan eksekusi, serta sesuaikan prioritas atau batalkan pekerjaan sesuai kebutuhan.

Langkah 1: Buat peran RAM

1. Buka Konsol RAM untuk membuat peran. Pilih Alibaba Cloud Service sebagai jenis entitas tepercaya dan Object Storage Service sebagai layanan tepercaya.

2. Buat dan lampirkan kebijakan kustom ke peran tersebut. Berikut adalah konten kebijakannya. Ganti your-bucket dengan nama bucket aktual Anda.

   {
     "Version": "1",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "oss:GetBucketInfo",
           "oss:ListObjects",
           "oss:GetObject",
           "oss:GetObjectTagging",
           "oss:PutObjectTagging",
           "oss:DeleteObjectTagging",
           "oss:PutObjectAcl",
           "oss:RestoreObject",
           "oss:PutObject"
         ],
         "Resource": [
           "acs:oss:*:*:your-bucket",
           "acs:oss:*:*:your-bucket/*"
         ]
       }
     ]
   }

   Deskripsi Izin

   • Izin Wajib

     • oss:GetBucketInfo: Mengambil informasi bucket.

   • Izin Terkait Manifest Input

     • oss:ListObjects: Diperlukan untuk menghasilkan daftar objek berdasarkan awalan.

     • oss:GetObject: Diperlukan untuk mengakses file daftar bucket atau file manifest CSV.

   • Izin Terkait Operasi Batch

     • oss:GetObjectTagging: Diperlukan untuk membaca tag yang ada dalam penggantian tag batch.

     • oss:PutObjectTagging: Diperlukan untuk menambahkan atau mengganti tag secara batch.

     • oss:DeleteObjectTagging: Diperlukan untuk menghapus tag secara batch.

     • oss:PutObjectAcl: Diperlukan untuk memodifikasi izin secara batch.

     • oss:RestoreObject: Diperlukan untuk memulihkan objek terarsip secara batch.

   • Izin untuk Output Laporan

     • oss:PutObject: Diperlukan untuk mengunggah laporan operasi batch.

3. Catat ARN peran tersebut, misalnya acs:ram::<your-account-uid>:role/BatchRole. Anda akan menggunakannya pada langkah-langkah berikutnya.

Langkah 2: Siapkan manifest input

Operasi batch mengharuskan Anda menentukan objek yang akan diproses. Pilih salah satu dari tiga metode berikut sesuai dengan skenario Anda:

• File daftar bucket: Cocok untuk operasi batch berskala besar yang dijalankan secara rutin.

• Awalan: Memproses semua objek dalam folder tertentu.

• File manifest CSV: File CSV yang mencantumkan objek yang akan diproses.

File daftar bucket

Gunakan file manifest yang dihasilkan secara otomatis oleh Daftar Bucket.

<Manifest>
    <Location>
        <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
        <Bucket>my-bucket</Bucket>
        <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
    </Location>
    <Spec>
        <Format>OSS_InventoryReport_CSV_20250611</Format>
    </Spec>
</Manifest>

Deskripsi konfigurasi

• ETag: Nilai ETag dari file manifest.json.

• Format: OSS_InventoryReport_CSV_20250611

Awalan

Menghasilkan daftar objek berdasarkan awalan yang ditentukan.

<KeyPrefixManifestGenerator>
    <SourceBucket>my-bucket</SourceBucket>
    <Prefix>documents/2024/</Prefix>
</KeyPrefixManifestGenerator>

File manifest CSV

Mencantumkan objek tertentu menggunakan file CSV. File manifest CSV harus diunggah ke OSS dan berada di wilayah yang sama dengan pekerjaan batch.

<Manifest>
    <Location>
        <Bucket>my-bucket</Bucket>
        <Object>manifest.csv</Object>
        <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
    </Location>
    <Spec>
        <Format>OSS_BatchOperations_CSV_20250611</Format>
        <Fields>Bucket,Key</Fields>
    </Spec>
</Manifest>

Deskripsi konfigurasi

• ETag: Nilai ETag dari manifest.csv.

• Fields: Kolom dalam file CSV.

  • Pengendalian versi tidak diaktifkan: Bucket,Key

  • Pengendalian versi diaktifkan: Bucket,Key,VersionId

• Format: OSS_BatchOperations_CSV_20250611

Persyaratan format file CSV

• Pengodean file: UTF-8.

• Pemisah kolom: Koma (,).

• Encoding Object Key: Di-encode dalam bentuk URL (misalnya, documents%2Freport1.pdf).

• Komentar: File CSV tidak boleh berisi baris komentar.

Contoh file CSV

• Pengendalian versi tidak diaktifkan

  my-bucket,documents%2Freport1.pdf
  my-bucket,documents%2Freport2.pdf
  my-bucket,images%2Fphoto1.jpg

• Pengendalian versi diaktifkan

  my-bucket,important%2Fdata.json,3/L4kqtJlcpXroDTDmJ+rmSpXd3dIbrHY+MTRCxf3vjVBH40Nr8X8gdRQBpUMLUo
  my-bucket,config%2Fsettings.xml,null

Langkah 3: Buat pekerjaan

ossutil api invoke-operation --op-name create-job --method POST --parameters batchJob --body file:///path/to/config.xml --endpoint oss-cn-hangzhou.aliyuncs.com

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectTagging>
            <TagSet>
                <Tag><Key>Environment</Key><Value>Production</Value></Tag>
                <Tag><Key>Team</Key><Value>DataOps</Value></Tag>
            </TagSet>
        </PutObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>put-tag-inventory-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
        </Location>
        <Spec>
            <Format>OSS_InventoryReport_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Ganti tag secara batch menggunakan manifest Inventory</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectTagging>
            <TagSet>
                <Tag><Key>Environment</Key><Value>Production</Value></Tag>
                <Tag><Key>Team</Key><Value>DataOps</Value></Tag>
            </TagSet>
        </PutObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>put-tag-job-001</ClientRequestToken>
    <KeyPrefixManifestGenerator>
        <SourceBucket>my-bucket</SourceBucket>
        <Prefix>documents/2024/</Prefix>
    </KeyPrefixManifestGenerator>
    <Description>Ganti tag secara batch untuk dokumen</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectTagging>
            <TagSet>
                <Tag><Key>Environment</Key><Value>Production</Value></Tag>
                <Tag><Key>Team</Key><Value>DataOps</Value></Tag>
            </TagSet>
        </PutObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>put-tag-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>manifest.csv</Object>
        </Location>
        <Spec>
            <Fields>Bucket,Key</Fields>
            <Format>OSS_BatchOperations_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Ganti tag secara batch untuk objek tertentu</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<?xml version="1.0" encoding="UTF-8"?>
<CreateJobResult>
  <JobId>ODRiZWQ5Njc5ZTE0NDE5NTlmNjJmZDlkMTk2ODI2NDU=</JobId>
</CreateJobResult>

ossutil api invoke-operation --op-name create-job --method POST --parameters batchJob --body file:///path/to/config.xml --endpoint oss-cn-hangzhou.aliyuncs.com

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <AddObjectTagging>
            <TagSet>
                <Tag><Key>Department</Key><Value>Engineering</Value></Tag>
                <Tag><Key>Project</Key><Value>BatchOps</Value></Tag>
            </TagSet>
        </AddObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>add-tag-inventory-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
        </Location>
        <Spec>
            <Format>OSS_InventoryReport_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Tambahkan tag secara batch menggunakan manifest Inventory</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <AddObjectTagging>
            <TagSet>
                <Tag><Key>Department</Key><Value>Engineering</Value></Tag>
                <Tag><Key>Project</Key><Value>BatchOps</Value></Tag>
            </TagSet>
        </AddObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>add-tag-job-001</ClientRequestToken>
    <KeyPrefixManifestGenerator>
        <SourceBucket>my-bucket</SourceBucket>
        <Prefix>documents/2024/</Prefix>
    </KeyPrefixManifestGenerator>
    <Description>Tambahkan tag secara batch ke dokumen</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <AddObjectTagging>
            <TagSet>
                <Tag><Key>Department</Key><Value>Engineering</Value></Tag>
                <Tag><Key>Project</Key><Value>BatchOps</Value></Tag>
            </TagSet>
        </AddObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>add-tag-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>manifest.csv</Object>
        </Location>
        <Spec>
            <Fields>Bucket,Key</Fields>
            <Format>OSS_BatchOperations_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Tambahkan tag secara batch ke objek tertentu</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<?xml version="1.0" encoding="UTF-8"?>
<CreateJobResult>
  <JobId>Nzg5ZjE3ZTU5OGMxNDZjZDk0YjJiODMzZDZiZjA0ZmU=</JobId>
</CreateJobResult>

ossutil api invoke-operation --op-name create-job --method POST --parameters batchJob --body file:///path/to/config.xml --endpoint oss-cn-hangzhou.aliyuncs.com

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <DeleteObjectTagging />
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>delete-tag-inventory-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
        </Location>
        <Spec>
            <Format>OSS_InventoryReport_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Hapus tag secara batch menggunakan manifest Inventory</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <DeleteObjectTagging />
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>delete-tag-job-001</ClientRequestToken>
    <KeyPrefixManifestGenerator>
        <SourceBucket>my-bucket</SourceBucket>
        <Prefix>documents/2024/</Prefix>
    </KeyPrefixManifestGenerator>
    <Description>Hapus tag secara batch untuk dokumen</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <DeleteObjectTagging />
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>delete-tag-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>manifest.csv</Object>
        </Location>
        <Spec>
            <Fields>Bucket,Key</Fields>
            <Format>OSS_BatchOperations_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Hapus tag secara batch untuk objek tertentu</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<?xml version="1.0" encoding="UTF-8"?>
<CreateJobResult>
  <JobId>NTVlYmQ4ZmQyOTM0NDJmY2E2NmNjYTUwNjU1ZGRkMGM=</JobId>
</CreateJobResult>

Modifikasi izin secara batch

Modifikasi izin batch mendukung empat jenis daftar kontrol akses (ACL): private (hanya pemilik yang dapat membaca dan menulis), public-read (siapa saja dapat membaca, tetapi hanya pemilik yang dapat menulis), public-read-write (siapa saja dapat membaca dan menulis), dan default (mewarisi izin bucket). Perubahan izin berlaku segera dan langsung memengaruhi akses objek. Pilih jenis izin yang sesuai dengan kebutuhan bisnis Anda.

ossutil api invoke-operation --op-name create-job --method POST --parameters batchJob --body file:///path/to/config.xml --endpoint oss-cn-hangzhou.aliyuncs.com

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectAcl>
            <ObjectAcl>private</ObjectAcl>
        </PutObjectAcl>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>acl-inventory-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
        </Location>
        <Spec>
            <Format>OSS_InventoryReport_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Ubah ACL secara batch menggunakan manifest Inventory</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectAcl>
            <ObjectAcl>private</ObjectAcl>
        </PutObjectAcl>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>acl-job-001</ClientRequestToken>
    <KeyPrefixManifestGenerator>
        <SourceBucket>my-bucket</SourceBucket>
        <Prefix>documents/2024/</Prefix>
    </KeyPrefixManifestGenerator>
    <Description>Ubah ACL secara batch ke private untuk dokumen</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectAcl>
            <ObjectAcl>private</ObjectAcl>
        </PutObjectAcl>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>acl-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>manifest.csv</Object>
        </Location>
        <Spec>
            <Fields>Bucket,Key</Fields>
            <Format>OSS_BatchOperations_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Ubah ACL secara batch ke private untuk objek tertentu</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<?xml version="1.0" encoding="UTF-8"?>
<CreateJobResult>
  <JobId>YWNsR29iMTIzNDU2Nzg5MA==</JobId>
</CreateJobResult>

Pemulihan data secara batch

Operasi pemulihan batch mendukung objek dalam kelas penyimpanan Archive, ColdArchive, dan DeepColdArchive. Pemulihan objek Archive biasanya selesai dalam waktu satu jam, dan objek yang dipulihkan tetap dapat diakses selama 1 hingga 7 hari. Kelas penyimpanan ColdArchive mendukung mode Standard (2–5 jam) dan mode Bulk (5–12 jam). Kelas penyimpanan DeepColdArchive hanya mendukung mode Standard, yang memerlukan waktu hingga 48 jam untuk diselesaikan. Anda dapat mengatur durasi akses objek yang dipulihkan antara 1 hingga 365 hari.

ossutil api invoke-operation --op-name create-job --method POST --parameters batchJob --body file:///path/to/config.xml --endpoint oss-cn-hangzhou.aliyuncs.com

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <RestoreObject>
            <Days>7</Days>
            <Tier>Standard</Tier>
        </RestoreObject>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>restore-inventory-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
        </Location>
        <Spec>
            <Format>OSS_InventoryReport_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Pemulihan batch menggunakan manifest Inventory selama 7 hari</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <RestoreObject>
            <Days>7</Days>
            <Tier>Standard</Tier>
        </RestoreObject>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>restore-job-001</ClientRequestToken>
    <KeyPrefixManifestGenerator>
        <SourceBucket>my-bucket</SourceBucket>
        <Prefix>archive/2024/</Prefix>
    </KeyPrefixManifestGenerator>
    <Description>Pemulihan batch objek arsip selama 7 hari</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <RestoreObject>
            <Days>7</Days>
            <Tier>Standard</Tier>
        </RestoreObject>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>restore-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>manifest.csv</Object>
        </Location>
        <Spec>
            <Fields>Bucket,Key</Fields>
            <Format>OSS_BatchOperations_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Pemulihan batch objek arsip tertentu selama 7 hari</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<?xml version="1.0" encoding="UTF-8"?>
<CreateJobResult>
  <JobId>cmVzdG9yZUpvYjEyMzQ1Njc4OTA=</JobId>
</CreateJobResult>

Langkah 4: Manajemen dan O&M pekerjaan

Lihat status pekerjaan

Setelah membuat pekerjaan, Anda dapat memantau dan mengonfirmasi statusnya dengan mengkueri detail pekerjaan tersebut. Detail pekerjaan memberikan gambaran lengkap mengenai statusnya, termasuk progres eksekusi dan parameter konfigurasi.

ossutil api invoke-operation --op-name describe-job --method GET --parameters batchJob --parameters batchJobId=<JobId> --endpoint oss-cn-hangzhou.aliyuncs.com

<?xml version="1.0" encoding="UTF-8"?>
<DescribeJobResult>
  <Job>
    <ConfirmationRequired>true</ConfirmationRequired>
    <CreationTime>1761723644</CreationTime>
    <FailureReasons>
      <JobFailure />
    </FailureReasons>
    <JobId>M2E0ODMyNmJjYmYzNGY0ZThiYjMyMmI1ZDE1YWE0OGE=</JobId>
    <Operation>
      <PutObjectTagging>
        <TagSet>
          <Tag>
            <Key>Environment</Key>
            <Value>Production</Value>
          </Tag>
          <Tag>
            <Key>Team</Key>
            <Value>DataOps</Value>
          </Tag>
        </TagSet>
      </PutObjectTagging>
    </Operation>
    <Report>
      <Enabled>true</Enabled>
      <Bucket>my-bucket</Bucket>
      <Prefix>batch-reports/</Prefix>
      <ReportScope>AllTasks</ReportScope>
    </Report>
    <Manifest>
      <Location>
        <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
        <Bucket>my-bucket</Bucket>
        <Object>manifest.csv</Object>
      </Location>
      <Spec>
        <Format>OSS_BatchOperations_CSV_20250611</Format>
        <Fields>Bucket,Key</Fields>
      </Spec>
    </Manifest>
    <Description>Tugas uji untuk status Suspended</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
    <ProgressSummary>
      <NumberOfTasksFailed>0</NumberOfTasksFailed>
      <NumberOfTasksSucceeded>0</NumberOfTasksSucceeded>
      <TotalNumberOfTasks>3</TotalNumberOfTasks>
      <Timers>
        <ElapsedTimeInActiveSeconds>-1</ElapsedTimeInActiveSeconds>
      </Timers>
    </ProgressSummary>
    <Status>Suspended</Status>
    <TerminationDate>-1</TerminationDate>
  </Job>
</DescribeJobResult>

Konfirmasi pekerjaan yang tertunda

Anda dapat mengubah status pekerjaan dari Suspended menjadi Ready untuk memasukkannya ke antrian eksekusi. Jika pekerjaan tidak dikonfirmasi dalam 14 hari, statusnya akan berubah secara otomatis menjadi Failed.

ossutil api invoke-operation --op-name update-job-status --method POST --parameters batchJobStatus --parameters batchJobId=<JobId> --parameters requestedJobStatus=Ready --endpoint oss-cn-hangzhou.aliyuncs.com

<?xml version="1.0" encoding="UTF-8"?>
<UpdateJobStatusResult>
  <JobId>NGFhNmFmZDRlNTcxNDE2OGFhY2FjYWQyNDcxYjc3YzM=</JobId>
  <Status>Ready</Status>
</UpdateJobStatusResult>

Daftar pekerjaan secara batch

Anda dapat melihat semua pekerjaan dan menggunakan fitur kueri batch untuk menyaring daftar berdasarkan status serta rentang waktu pembuatan. Anda juga dapat membatasi jumlah hasil dan menggunakan kueri terpaginasi guna mengelola banyak pekerjaan. Secara default, hasil diurutkan berdasarkan waktu pembuatan secara menurun, dengan pekerjaan terbaru ditampilkan lebih dahulu.

ossutil api invoke-operation --op-name list-jobs --method GET --parameters batchJob --parameters maxKeys=100 --endpoint oss-cn-hangzhou.aliyuncs.com

<?xml version="1.0" encoding="UTF-8"?>
<ListJobsResult>
  <Jobs>
    <Job>
      <JobId>OTE5ZGU1NWMxNjkyNGFkMjhkYTNmOGEzNTU2YmJiOWE=</JobId>
      <Status>Complete</Status>
      <CreationTime>1761666548</CreationTime>
    </Job>
  </Jobs>
</ListJobsResult>

Sesuaikan prioritas pekerjaan

Nilai prioritas berkisar dari 0 hingga 2.147.483.647, dengan nilai yang lebih tinggi menunjukkan prioritas yang lebih tinggi. Prioritas pekerjaan tidak menjamin urutan eksekusi yang ketat; sebaliknya, OSS berusaha mengalokasikan lebih banyak sumber daya ke pekerjaan dengan prioritas lebih tinggi.

ossutil api invoke-operation --op-name update-job-priority --method POST --parameters batchJobPriority --parameters batchJobId=<JobId> --parameters priority=1000 --endpoint oss-cn-hangzhou.aliyuncs.com

<?xml version="1.0" encoding="UTF-8"?>
<UpdateJobPriorityResult>
  <JobId>OTE5ZGU1NWMxNjkyNGFkMjhkYTNmOGEzNTU2YmJiOWE=</JobId>
  <Priority>1000</Priority>
</UpdateJobPriorityResult>

Batalkan pekerjaan

Anda dapat menghentikan pekerjaan yang sedang berjalan atau menunggu untuk dijalankan. Operasi yang telah selesai pada objek tidak dapat dibatalkan.

ossutil api invoke-operation --op-name update-job-status --method POST --parameters batchJob --parameters batchJobId=<JobId> --parameters requestedJobStatus=Cancelled --endpoint oss-cn-hangzhou.aliyuncs.com

<?xml version="1.0" encoding="UTF-8"?>
<UpdateJobStatusResult>
  <JobId>OTE5ZGU1NWMxNjkyNGFkMjhkYTNmOGEzNTU2YmJiOWE=</JobId>
  <Status>Cancelled</Status>
</UpdateJobStatusResult>

Lihat laporan pekerjaan

Setelah pekerjaan selesai, sistem menghasilkan laporan eksekusi terperinci di jalur yang ditentukan. Laporan tersebut mencakup dua file utama: manifes bernama manifest.json dan laporan detail dalam format CSV. Kedua file ini menyediakan status pemrosesan, kode respons HTTP, serta alasan kegagalan untuk setiap objek, yang dapat digunakan untuk troubleshooting dan validasi hasil.

<Bucket>/<Prefix>/<JobId>/results/

<Report>
    <Bucket>my-bucket</Bucket>
    <Prefix>batch-reports/</Prefix>
    <ReportScope>AllTasks</ReportScope>
</Report>

{
  "Format": "Report_CSV_20250901",
  "ReportCreationDate": "2025-10-31T07:18:56Z",
  "Results": [
    {
      "TaskExecutionStatus": "succeeded",
      "Bucket": "test-bucket",
      "MD5Checksum": "\"424356315f4a82c1b6a4c190dbed15d9\"",
      "Key": "reports/prefix-job-0/job-MTRiZGI1NDFiMTI2NDFiNDg0YWQyYTM2YmY1NzNjNDM=/results/report-0.csv"
    }
  ],
  "ReportSchema": "Bucket,Key,VersionId,HTTPStatus,Error"
}

{
  "Format": "Report_CSV_20250901",
  "ReportCreationDate": "2025-10-31T07:37:56Z",
  "Results": [
    {
      "TaskExecutionStatus": "failed",
      "Bucket": "test-bucket",
      "MD5Checksum": "\"85749f22b5b62b161daf00b4adcf6da7\"",
      "Key": "reports/prefix-job-0/job-M2E4MDkwNGJmNmQzNDgwYmE4ODI1YjdjNDgyNjk5NmM=/results/report-0.csv"
    }
  ],
  "ReportSchema": "Bucket,Key,VersionId,HTTPStatus,Error"
}

test-bucket,batchOperation%2F1761895099%2Fobject-1.txt,,200,
test-bucket,batchOperation%2F1761895099%2Fobject-9.txt,,200,
test-bucket,batchOperation%2F1761895099%2Fobject-4.txt,,200,
test-bucket,batchOperation%2F1761895099%2Fobject-8.txt,,200,
test-bucket,batchOperation%2F1761895099%2Fobject-3.txt,,200,

test-bucket,batchOperation%2F1761896253%2Fobject-0.txt,,403,"Error returned by Service. {""EC"":""0003-00000001"",""Error Code"":""AccessDenied"",""Http Status Code"":403,""Message"":""You have no right to access this object."",""Request Endpoint"":""PUT http://test-bucket.oss-cn-hangzhou-internal.aliyuncs.com/batchOperation/1761896253/object-0.txt?tagging"",""Request Id"":""690467520D9F2E3232004FFD"",""Timestamp"":""2025-10-31T07:37:54Z""}"
test-bucket,batchOperation%2F1761896253%2Fobject-7.txt,,403,"Error returned by Service. {""EC"":""0003-00000001"",""Error Code"":""AccessDenied"",""Http Status Code"":403,""Message"":""You have no right to access this object."",""Request Endpoint"":""PUT http://test-bucket.oss-cn-hangzhou-internal.aliyuncs.com/batchOperation/1761896253/object-7.txt?tagging"",""Request Id"":""69046752A016113937EB7029"",""Timestamp"":""2025-10-31T07:37:54Z""}"

# Unduh file manifes laporan
ossutil cp oss://my-bucket/batch-reports/<JobId>/results/manifest.json ./

# Unduh laporan CSV detail
ossutil cp oss://my-bucket/batch-reports/<JobId>/results/report-0.csv ./

Go-live

Praktik terbaik

Strategi perencanaan pekerjaan

• Kontrol Skala: Batasi jumlah objek dalam satu pekerjaan menjadi kurang dari 100 juta untuk memastikan eksekusi yang stabil. Bagi pemrosesan data berskala besar menjadi beberapa pekerjaan guna mengurangi titik kegagalan tunggal.

• Manajemen Prioritas: Tetapkan prioritas pekerjaan yang wajar agar pekerjaan penting tidak terblokir. Perkirakan waktu eksekusi untuk menjadwalkan jendela pemeliharaan secara tepat.

• Catatan tentang Operasi Konkuren: Saat beberapa pekerjaan beroperasi pada batch objek yang sama secara bersamaan, urutan eksekusi tidak dijamin. Hindari menjalankan operasi konkuren pada objek yang sama.

Langkah optimasi kinerja

• Optimasi File Manifest: Susun struktur file manifest untuk menghindari pembuatan file tunggal yang terlalu besar, karena hal ini dapat memperlambat penguraian.

• Pemanfaatan Kuota QPS: Manfaatkan sepenuhnya kuota QPS independen agar panggilan API bisnis tidak terpengaruh. Operasi batch tidak mengonsumsi kuota QPS Anda.

• Kontrol Konkurensi: Batasi jumlah pekerjaan yang berjalan secara bersamaan menjadi tiga atau kurang untuk menghindari persaingan sumber daya.

• Hindari Hot Spot: Jika terdapat hot spot—misalnya awalan yang diurutkan secara leksikografis—dalam rentang operasi, kecepatan eksekusi operasi batch dapat terganggu. Dalam kasus parah, hal ini bahkan dapat menyebabkan beberapa operasi file gagal.

Mekanisme penanganan kesalahan

• Laporan Detail: Aktifkan laporan detail (ReportScope=AllTasks) untuk memperoleh hasil eksekusi lengkap guna troubleshooting.

• Mekanisme Retry: Dalam kasus jarang terjadi, jika operasi batch mengalami masalah selama eksekusi, sistem akan mencoba ulang beberapa kali. Biaya permintaan API akhir didasarkan pada jumlah total panggilan API yang dilakukan.

• Ambang Batas Kegagalan: Jika tingkat kegagalan tugas dalam pekerjaan melebihi 20%, seluruh pekerjaan akan segera gagal dan berhenti berjalan.

• Anomali Konfirmasi Status: Dalam kasus jarang terjadi, beberapa operasi mungkin berhasil tetapi dicatat sebagai gagal dalam laporan eksekusi. Periksa kembali item yang ditandai sebagai gagal.

Poin penting untuk konfirmasi hasil

• Verifikasi Integritas Eksekusi: Pekerjaan dapat memiliki salah satu status berikut: Running, Complete, Failed, Paused, atau Cancelled. Beberapa objek mungkin berhasil diproses, sementara yang lain gagal. Periksa jumlah tugas yang berhasil dan gagal dalam laporan untuk memastikan hasil sesuai ekspektasi Anda.

• Saran Penanganan Kegagalan:

  • Status Complete hanya menunjukkan bahwa pekerjaan telah selesai, bukan berarti semua objek berhasil diproses. Anda harus memeriksa laporan eksekusi untuk detailnya.

  • Analisis penyebab tugas yang gagal dan coba ulang. Untuk pekerjaan dengan kegagalan parsial, Anda dapat membuat pekerjaan ulang berdasarkan laporan kegagalan.

  • Untuk pekerjaan dengan status Cancelled, Paused, atau Failed, beberapa objek mungkin telah berhasil diproses. Anda harus memverifikasi hasilnya.

Catatan tentang file manifest

Urutan eksekusi dan konsistensi data

• Urutan Eksekusi: Operasi batch dilakukan pada item dalam daftar manifest, tetapi urutan eksekusinya tidak dijamin.

• Pembaruan File: Jika objek diperbarui sebelum tindakan dilakukan, pekerjaan akan beroperasi pada file yang diperbarui. Jangan memodifikasi file saat pekerjaan batch sedang berjalan.

• Batasan Metode Awalan: Jika Anda menggunakan awalan untuk menyediakan manifest input, operasi batch tidak dapat mendeteksi file yang ditambahkan atau dihapus selama eksekusi. Jangan menambahkan atau menghapus file di bawah awalan tersebut saat pekerjaan batch sedang berjalan.

Persyaratan format file manifest

• Encoding URL: Kunci objek dalam file manifest CSV harus di-encode dalam bentuk URL. Jika tidak, penguraian dapat gagal.

• Penanganan Kunci Duplikat: Jika file manifest berisi kunci duplikat, operasi batch akan dilakukan beberapa kali, tetapi urutan operasinya tidak dijamin.

Mekanisme penjadwalan sumber daya

Penjadwalan prioritas

Prioritas pekerjaan didukung, dengan nilai berkisar dari 0 hingga 2.147.483.647.

Kontrol konkurensi

Satu akun dapat menjalankan maksimal enam pekerjaan secara bersamaan. Pekerjaan tambahan ditempatkan dalam antrian tunggu.

Transisi status pekerjaan

Kuota dan batasan

Deskripsi penagihan

OSS Batch Operations adalah layanan pay-as-you-go. Anda dikenai biaya CNY 1 untuk setiap 1 juta objek yang diproses, tanpa biaya tambahan untuk pembuatan pekerjaan, manajemen, atau transfer data.

Contoh penagihan:

• Pemberian tag batch untuk 5 juta objek: 5 juta / 1 juta × CNY 1 = CNY 5

• Pemrosesan data berskala besar untuk 5 miliar objek: 5 miliar / 1 juta × CNY 1 = CNY 5.000

Saran optimasi biaya: Gabungkan operasi batch terkait menjadi satu pekerjaan untuk mengurangi overhead manajemen. Gunakan awalan atau file manifest yang tepat guna menghindari pemrosesan objek yang tidak perlu. Jadwalkan operasi batch yang tidak mendesak di luar jam sibuk bisnis.

FAQ

Mengapa pekerjaan saya terjebak dalam status Preparing dalam waktu lama?

Kemungkinan penyebabnya meliputi:

• File manifest terlalu besar sehingga memerlukan waktu lama untuk diurai.

• Pemindaian awalan mencakup banyak objek.

• Beban sistem tinggi dan antrian pemrosesan sedang sibuk.

Untuk mengatasinya, Anda dapat membagi pekerjaan besar menjadi pekerjaan yang lebih kecil atau menggunakan file manifest yang telah dihasilkan sebelumnya.

Apa yang harus saya lakukan jika beberapa objek gagal diproses?

Ikuti langkah-langkah berikut:

1. Unduh laporan eksekusi pekerjaan dan analisis penyebab kegagalannya.

2. Buat pekerjaan ulang berdasarkan daftar objek yang gagal.

3. Verifikasi bahwa konfigurasi izin sudah benar dan peran IAM memiliki izin penuh.

Bagaimana cara membatalkan pekerjaan yang sedang berjalan?

Anda dapat menggunakan perintah berikut:

POST /?batchJobStatus&batchJobId=<JobId>&requestedJobStatus=Cancelled&statusUpdateReason=User cancelled HTTP/1.1
Host: oss-cn-hangzhou.aliyuncs.com
Authorization: <Signature information>

Mengapa saya mendapatkan kesalahan permission denied?

Periksa konfigurasi izin berikut:

1. Pastikan pengguna RAM memiliki izin oss:CreateBatchJob.

2. Verifikasi bahwa peran IAM memiliki izin yang diperlukan untuk operasi tersebut.

3. Verifikasi pengaturan izin bucket tujuan untuk operasi lintas bucket.

Persyaratan Konfigurasi Peran IAM?

Peran IAM harus mencakup hal-hal berikut:

• Izin baca dan tulis untuk sumber daya OSS.

• Izin untuk memanggil API Batch Operations.

• Izin menulis untuk bucket penyimpanan laporan.

Contoh kebijakan kepercayaan:

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": ["oss.aliyuncs.com"]
      }
    }
  ]
}

Bagaimana cara meningkatkan kecepatan eksekusi operasi batch?

Saran optimasi:

1. Strukturkan file manifest Anda untuk menghindari pembuatan satu file yang terlalu besar.

2. Hindari menjalankan pekerjaan besar selama jam sibuk bisnis.

3. Tetapkan prioritas pekerjaan agar pekerjaan penting dieksekusi terlebih dahulu.

4. Hindari memasukkan terlalu banyak objek dalam satu pekerjaan guna mencegah waktu eksekusi yang panjang. Kami menyarankan batas 100 juta objek per pekerjaan.

5. Hindari membagi pekerjaan besar menjadi terlalu banyak pekerjaan kecil, seperti membagi 1 juta objek menjadi 1.000 pekerjaan, karena hal ini meningkatkan waktu yang dihabiskan untuk penjadwalan tugas.

Mengapa pekerjaan memerlukan waktu lebih lama dari yang diharapkan untuk berjalan?

Kemungkinan penyebabnya meliputi:

• Objek tersebar tidak merata, sehingga beberapa shard memerlukan waktu lebih lama untuk diproses.

• Objek sumber atau tujuan memiliki hot spot yang dapat memperlambat pemrosesan.

• Terlalu banyak pekerjaan berjalan secara bersamaan, menyebabkan persaingan sumber daya.

Kami menyarankan menyesuaikan strategi penjadwalan pekerjaan atau mengurangi jumlah pekerjaan konkuren.