Object Storage Service:Gunakan Batch Operations untuk mengelola miliaran objek

Ketersediaan

Batch Operations tersedia di Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Shenzhen), Tiongkok (Guangzhou), Tiongkok (Qingdao), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Hohhot), Tiongkok (Ulanqab), Tiongkok (Chengdu), Tiongkok (Hong Kong), Singapura, Indonesia (Jakarta), dan Jerman (Frankfurt).

Alur Kerja

1. Buat peran RAM: Berikan izin OSS untuk membaca manifes, menjalankan operasi batch, dan menghasilkan laporan.

1. Siapkan manifes: Tentukan objek target menggunakan file bucket inventory (manifest.json), awalan (prefix), atau file manifes CSV (manifest.csv).

2. Buat Pekerjaan: Konfigurasikan operasi (misalnya, tag, izin, atau memulihkan) dan kirimkan pekerjaan.

3. Kelola job: Pantau status job, konfirmasi job yang tertunda, tinjau laporan eksekusi, serta sesuaikan prioritas atau batalkan job.

Langkah 1: Buat peran RAM

1. Di Konsol RAM, buat peran RAM dengan mengatur tipe entitas tepercaya ke Alibaba Cloud Service dan memilih Object Storage Service sebagai layanan tepercaya.

2. Buat dan lampirkan kebijakan izin kustom ke peran tersebut. Pada kebijakan berikut, ganti your-bucket dengan nama bucket aktual Anda.

   {
     "Version": "1",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "oss:GetBucketInfo",
           "oss:ListObjects",
           "oss:GetObject",
           "oss:GetObjectTagging",
           "oss:PutObjectTagging",
           "oss:DeleteObjectTagging",
           "oss:PutObjectAcl",
           "oss:RestoreObject",
           "oss:PutObject"
         ],
         "Resource": [
           "acs:oss:*:*:your-bucket",
           "acs:oss:*:*:your-bucket/*"
         ]
       }
     ]
   }

   Izin

   • Izin wajib

     • oss:GetBucketInfo – Diperlukan untuk mengambil metadata bucket.

   • Izin terkait manifes

     • oss:ListObjects – Diperlukan untuk manifes berbasis prefix.

     • oss:GetObject – Diperlukan untuk membaca file inventory bucket atau file manifes CSV.

   • Izin untuk operasi batch

     • oss:GetObjectTagging – Diperlukan untuk mengganti tag secara batch (membaca tag yang ada terlebih dahulu).

     • oss:PutObjectTagging – Diperlukan untuk menambah atau mengganti tag secara batch.

     • oss:DeleteObjectTagging – Diperlukan untuk menghapus tag secara batch.

     • oss:PutObjectAcl – Diperlukan untuk memodifikasi ACL secara batch.

     • oss:RestoreObject – Diperlukan untuk memulihkan objek arsip secara batch.

   • Izin untuk output laporan

     • oss:PutObject – Diperlukan untuk mengunggah file laporan operasi batch.

3. Catat ARN peran tersebut, misalnya acs:ram::<your-account-uid>:role/BatchRole, karena Anda akan membutuhkannya nanti.

Langkah 2: Siapkan manifes input

Untuk operasi batch, Anda harus menentukan objek yang akan diproses.

• File manifes Bucket Inventory: Ideal untuk operasi batch skala besar dan berulang.

• Prefix: Memproses semua objek yang memiliki prefix tertentu.

• File manifes CSV: File CSV yang berisi daftar objek spesifik untuk diproses.

File manifes Bucket Inventory

Menggunakan file manifes yang dihasilkan secara otomatis oleh Bucket Inventory.

<Manifest>
    <Location>
        <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
        <Bucket>my-bucket</Bucket>
        <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
    </Location>
    <Spec>
        <Format>OSS_InventoryReport_CSV_20250611</Format>
    </Spec>
</Manifest>

Konfigurasi

• ETag: ETag dari file manifest.json.

• Format: OSS_InventoryReport_CSV_20250611

Prefix

Menghasilkan daftar objek secara otomatis berdasarkan prefix yang ditentukan.

<KeyPrefixManifestGenerator>
    <SourceBucket>my-bucket</SourceBucket>
    <Prefix>documents/2024/</Prefix>
</KeyPrefixManifestGenerator>

File manifes CSV

Gunakan file CSV untuk mencantumkan objek secara tepat. File manifes CSV harus diunggah ke OSS dan berada di wilayah yang sama dengan job batch.

<Manifest>
    <Location>
        <Bucket>my-bucket</Bucket>
        <Object>manifest.csv</Object>
        <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
    </Location>
    <Spec>
        <Format>OSS_BatchOperations_CSV_20250611</Format>
        <Fields>Bucket,Key</Fields>
    </Spec>
</Manifest>

Konfigurasi

• ETag: ETag dari file manifest.csv.

• Fields: Definisi kolom dalam file CSV.

  • Pengendalian versi dinonaktifkan: Bucket,Key

  • Pengendalian versi diaktifkan: Bucket,Key,VersionId

• Format: OSS_BatchOperations_CSV_20250611

Format file CSV

• Encoding file: Menggunakan UTF-8.

• Pemisah field: Dipisahkan dengan koma (,).

• Encoding kunci objek: Diencode dalam format URL (misalnya, documents%2Freport1.pdf).

• Komentar: Tidak didukung.

Contoh file CSV

• Pengendalian versi dinonaktifkan

  my-bucket,documents%2Freport1.pdf
  my-bucket,documents%2Freport2.pdf
  my-bucket,images%2Fphoto1.jpg

• Pengendalian versi diaktifkan

  my-bucket,important%2Fdata.json,3/L4kqtJlcpXroDTDmJ+rmSpXd3dIbrHY+MTRCxf3vjVBH40Nr8X8gdRQBpUMLUo
  my-bucket,config%2Fsettings.xml,null

Langkah 3: Buat job

ossutil api invoke-operation --op-name create-job --method POST --parameters batchJob --body file:///path/to/config.xml --endpoint oss-cn-hangzhou.aliyuncs.com

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectTagging>
            <TagSet>
                <Tag><Key>Environment</Key><Value>Production</Value></Tag>
                <Tag><Key>Team</Key><Value>DataOps</Value></Tag>
            </TagSet>
        </PutObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>put-tag-inventory-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
        </Location>
        <Spec>
            <Format>OSS_InventoryReport_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Batch replace tags using Inventory manifest</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectTagging>
            <TagSet>
                <Tag><Key>Environment</Key><Value>Production</Value></Tag>
                <Tag><Key>Team</Key><Value>DataOps</Value></Tag>
            </TagSet>
        </PutObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>put-tag-job-001</ClientRequestToken>
    <KeyPrefixManifestGenerator>
        <SourceBucket>my-bucket</SourceBucket>
        <Prefix>documents/2024/</Prefix>
    </KeyPrefixManifestGenerator>
    <Description>Batch replace tags for documents</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectTagging>
            <TagSet>
                <Tag><Key>Environment</Key><Value>Production</Value></Tag>
                <Tag><Key>Team</Key><Value>DataOps</Value></Tag>
            </TagSet>
        </PutObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>put-tag-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>manifest.csv</Object>
        </Location>
        <Spec>
            <Fields>Bucket,Key</Fields>
            <Format>OSS_BatchOperations_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Batch replace tags for specified objects</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<?xml version="1.0" encoding="UTF-8"?>
<CreateJobResult>
  <JobId>ODRiZWQ5Njc5ZTE0NDE5NTlmNjJmZDlkMTk2ODI2NDU=</JobId>
</CreateJobResult>

ossutil api invoke-operation --op-name create-job --method POST --parameters batchJob --body file:///path/to/config.xml --endpoint oss-cn-hangzhou.aliyuncs.com

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <AddObjectTagging>
            <TagSet>
                <Tag><Key>Department</Key><Value>Engineering</Value></Tag>
                <Tag><Key>Project</Key><Value>BatchOps</Value></Tag>
            </TagSet>
        </AddObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>add-tag-inventory-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
        </Location>
        <Spec>
            <Format>OSS_InventoryReport_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Batch add tags using Inventory manifest</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <AddObjectTagging>
            <TagSet>
                <Tag><Key>Department</Key><Value>Engineering</Value></Tag>
                <Tag><Key>Project</Key><Value>BatchOps</Value></Tag>
            </TagSet>
        </AddObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>add-tag-job-001</ClientRequestToken>
    <KeyPrefixManifestGenerator>
        <SourceBucket>my-bucket</SourceBucket>
        <Prefix>documents/2024/</Prefix>
    </KeyPrefixManifestGenerator>
    <Description>Batch add tags to documents</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <AddObjectTagging>
            <TagSet>
                <Tag><Key>Department</Key><Value>Engineering</Value></Tag>
                <Tag><Key>Project</Key><Value>BatchOps</Value></Tag>
            </TagSet>
        </AddObjectTagging>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>add-tag-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>manifest.csv</Object>
        </Location>
        <Spec>
            <Fields>Bucket,Key</Fields>
            <Format>OSS_BatchOperations_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Batch add tags to specified objects</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<?xml version="1.0" encoding="UTF-8"?>
<CreateJobResult>
  <JobId>Nzg5ZjE3ZTU5OGMxNDZjZDk0YjJiODMzZDZiZjA0ZmU=</JobId>
</CreateJobResult>

ossutil api invoke-operation --op-name create-job --method POST --parameters batchJob --body file:///path/to/config.xml --endpoint oss-cn-hangzhou.aliyuncs.com

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <DeleteObjectTagging />
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>delete-tag-inventory-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
        </Location>
        <Spec>
            <Format>OSS_InventoryReport_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Batch delete tags using Inventory manifest</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <DeleteObjectTagging />
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>delete-tag-job-001</ClientRequestToken>
    <KeyPrefixManifestGenerator>
        <SourceBucket>my-bucket</SourceBucket>
        <Prefix>documents/2024/</Prefix>
    </KeyPrefixManifestGenerator>
    <Description>Batch delete tags for documents</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <DeleteObjectTagging />
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>delete-tag-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>manifest.csv</Object>
        </Location>
        <Spec>
            <Fields>Bucket,Key</Fields>
            <Format>OSS_BatchOperations_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Batch delete tags for specified objects</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<?xml version="1.0" encoding="UTF-8"?>
<CreateJobResult>
  <JobId>NTVlYmQ4ZmQyOTM0NDJmY2E2NmNjYTUwNjU1ZGRkMGM=</JobId>
</CreateJobResult>

Modifikasi ACL secara batch

Batch Operations mendukung empat ACL pradefinisi untuk objek: private (hanya pemilik yang dapat membaca dan menulis), public-read (semua pengguna dapat membaca; hanya pemilik yang dapat menulis), public-read-write (semua pengguna dapat membaca dan menulis), dan default (mewarisi ACL dari bucket). Perubahan ACL berlaku segera dan langsung memengaruhi akses ke objek. Pilih tipe ACL yang sesuai dengan kebutuhan bisnis Anda.

ossutil api invoke-operation --op-name create-job --method POST --parameters batchJob --body file:///path/to/config.xml --endpoint oss-cn-hangzhou.aliyuncs.com

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectAcl>
            <ObjectAcl>private</ObjectAcl>
        </PutObjectAcl>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>acl-inventory-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
        </Location>
        <Spec>
            <Format>OSS_InventoryReport_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Batch change ACL using Inventory manifest</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectAcl>
            <ObjectAcl>private</ObjectAcl>
        </PutObjectAcl>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>acl-job-001</ClientRequestToken>
    <KeyPrefixManifestGenerator>
        <SourceBucket>my-bucket</SourceBucket>
        <Prefix>documents/2024/</Prefix>
    </KeyPrefixManifestGenerator>
    <Description>Batch change ACL to private for documents</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <PutObjectAcl>
            <ObjectAcl>private</ObjectAcl>
        </PutObjectAcl>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>acl-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>manifest.csv</Object>
        </Location>
        <Spec>
            <Fields>Bucket,Key</Fields>
            <Format>OSS_BatchOperations_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Batch change ACL to private for specified objects</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<?xml version="1.0" encoding="UTF-8"?>
<CreateJobResult>
  <JobId>YWNsR29iMTIzNDU2Nzg5MA==</JobId>
</CreateJobResult>

Pemulihan objek arsip secara batch

Operasi pemulihan batch mendukung objek dalam kelas penyimpanan Archive, Cold Archive, dan Deep Cold Archive. Untuk objek Archive, pemulihan biasanya selesai dalam waktu satu jam, dan objek tetap dapat diakses selama 1 hingga 7 hari. Kelas penyimpanan Cold Archive menawarkan dua tier pemulihan: Standard (2–5 jam) dan Bulk (5–12 jam). Sementara itu, kelas penyimpanan Deep Cold Archive hanya mendukung tier Standard, yang memerlukan waktu hingga 48 jam untuk diselesaikan. Anda dapat mengatur periode aksesibilitas objek yang dipulihkan ke nilai apa pun antara 1 hingga 365 hari.

ossutil api invoke-operation --op-name create-job --method POST --parameters batchJob --body file:///path/to/config.xml --endpoint oss-cn-hangzhou.aliyuncs.com

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <RestoreObject>
            <Days>7</Days>
            <Tier>Standard</Tier>
        </RestoreObject>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>restore-inventory-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>495B279A99C2BA72A66CA1E23B5FEA13</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>inventory-reports/my-bucket/daily-inventory/2025-10-29T12-49Z/manifest.json</Object>
        </Location>
        <Spec>
            <Format>OSS_InventoryReport_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Batch restore using Inventory manifest for 7 days</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <RestoreObject>
            <Days>7</Days>
            <Tier>Standard</Tier>
        </RestoreObject>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>restore-job-001</ClientRequestToken>
    <KeyPrefixManifestGenerator>
        <SourceBucket>my-bucket</SourceBucket>
        <Prefix>archive/2024/</Prefix>
    </KeyPrefixManifestGenerator>
    <Description>Batch restore archive objects for 7 days</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<CreateJobRequest>
    <ConfirmationRequired>true</ConfirmationRequired>
    <Operation>
        <RestoreObject>
            <Days>7</Days>
            <Tier>Standard</Tier>
        </RestoreObject>
    </Operation>
    <Report>
        <Bucket>my-bucket</Bucket>
        <Enabled>true</Enabled>
        <Prefix>batch-reports/</Prefix>
        <ReportScope>AllTasks</ReportScope>
    </Report>
    <ClientRequestToken>restore-job-001</ClientRequestToken>
    <Manifest>
        <Location>
            <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
            <Bucket>my-bucket</Bucket>
            <Object>manifest.csv</Object>
        </Location>
        <Spec>
            <Fields>Bucket,Key</Fields>
            <Format>OSS_BatchOperations_CSV_20250611</Format>
        </Spec>
    </Manifest>
    <Description>Batch restore specified archive objects for 7 days</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
</CreateJobRequest>

<?xml version="1.0" encoding="UTF-8"?>
<CreateJobResult>
  <JobId>cmVzdG9yZUpvYjEyMzQ1Njc4OTA=</JobId>
</CreateJobResult>

Langkah 4: Kelola dan pantau job

Lihat status pekerjaan

Setelah membuat job, kueri detailnya untuk memantau dan mengonfirmasi statusnya. Respons berisi informasi lengkap mengenai job yang ditentukan, termasuk progres eksekusi dan parameter konfigurasi.

ossutil api invoke-operation --op-name describe-job --method GET --parameters batchJob --parameters batchJobId=<JobId> --endpoint oss-cn-hangzhou.aliyuncs.com

<?xml version="1.0" encoding="UTF-8"?>
<DescribeJobResult>
  <Job>
    <ConfirmationRequired>true</ConfirmationRequired>
    <CreationTime>1761723644</CreationTime>
    <FailureReasons>
      <JobFailure />
    </FailureReasons>
    <JobId>M2E0ODMyNmJjYmYzNGY0ZThiYjMyMmI1ZDE1YWE0OGE=</JobId>
    <Operation>
      <PutObjectTagging>
        <TagSet>
          <Tag>
            <Key>Environment</Key>
            <Value>Production</Value>
          </Tag>
          <Tag>
            <Key>Team</Key>
            <Value>DataOps</Value>
          </Tag>
        </TagSet>
      </PutObjectTagging>
    </Operation>
    <Report>
      <Enabled>true</Enabled>
      <Bucket>my-bucket</Bucket>
      <Prefix>batch-reports/</Prefix>
      <ReportScope>AllTasks</ReportScope>
    </Report>
    <Manifest>
      <Location>
        <ETag>1466CA50719515AAE6F92101D83B6A20</ETag>
        <Bucket>my-bucket</Bucket>
        <Object>manifest.csv</Object>
      </Location>
      <Spec>
        <Format>OSS_BatchOperations_CSV_20250611</Format>
        <Fields>Bucket,Key</Fields>
      </Spec>
    </Manifest>
    <Description>Test task for Suspended status</Description>
    <Priority>10</Priority>
    <RoleArn>acs:ram::<your-account-uid>:role/BatchRole</RoleArn>
    <ProgressSummary>
      <NumberOfTasksFailed>0</NumberOfTasksFailed>
      <NumberOfTasksSucceeded>0</NumberOfTasksSucceeded>
      <TotalNumberOfTasks>3</TotalNumberOfTasks>
      <Timers>
        <ElapsedTimeInActiveSeconds>-1</ElapsedTimeInActiveSeconds>
      </Timers>
    </ProgressSummary>
    <Status>Suspended</Status>
    <TerminationDate>-1</TerminationDate>
  </Job>
</DescribeJobResult>

Konfirmasi job

Ubah status job dari Suspended ke Ready untuk memasukkannya ke antrian eksekusi. Jika job tidak dikonfirmasi dalam 14 hari, statusnya akan berubah secara otomatis menjadi Failed.

ossutil api invoke-operation --op-name update-job-status --method POST --parameters batchJobStatus --parameters batchJobId=<JobId> --parameters requestedJobStatus=Ready --endpoint oss-cn-hangzhou.aliyuncs.com

<?xml version="1.0" encoding="UTF-8"?>
<UpdateJobStatusResult>
  <JobId>NGFhNmFmZDRlNTcxNDE2OGFhY2FjYWQyNDcxYjc3YzM=</JobId>
  <Status>Ready</Status>
</UpdateJobStatusResult>

Daftar Pekerjaan

Lihat semua job Anda. Anda dapat memfilter daftar job berdasarkan status dan rentang waktu pembuatan, membatasi jumlah hasil, serta menggunakan pagination untuk mengelola jumlah job yang besar. Secara default, hasil diurutkan berdasarkan waktu pembuatan secara menurun.

ossutil api invoke-operation --op-name list-jobs --method GET --parameters batchJob --parameters maxKeys=100 --endpoint oss-cn-hangzhou.aliyuncs.com

<?xml version="1.0" encoding="UTF-8"?>
<ListJobsResult>
  <Jobs>
    <Job>
      <JobId>OTE5ZGU1NWMxNjkyNGFkMjhkYTNmOGEzNTU2YmJiOWE=</JobId>
      <Status>Complete</Status>
      <CreationTime>1761666548</CreationTime>
    </Job>
  </Jobs>
</ListJobsResult>

Perbarui prioritas job

Prioritas adalah bilangan bulat dari 0 hingga 2.147.483.647, dengan nilai yang lebih tinggi menunjukkan prioritas yang lebih tinggi. Namun, prioritas job tidak menjamin urutan eksekusi yang ketat. Sebaliknya, OSS mengalokasikan lebih banyak sumber daya ke job berprioritas tinggi berdasarkan upaya terbaik (best-effort).

ossutil api invoke-operation --op-name update-job-priority --method POST --parameters batchJobPriority --parameters batchJobId=<JobId> --parameters priority=1000 --endpoint oss-cn-hangzhou.aliyuncs.com

<?xml version="1.0" encoding="UTF-8"?>
<UpdateJobPriorityResult>
  <JobId>OTE5ZGU1NWMxNjkyNGFkMjhkYTNmOGEzNTU2YmJiOWE=</JobId>
  <Priority>1000</Priority>
</UpdateJobPriorityResult>

Batalkan job

Membatalkan job yang sedang berjalan atau tertunda. Anda tidak dapat memulihkan operasi pada objek yang telah diproses.

ossutil api invoke-operation --op-name update-job-status --method POST --parameters batchJob --parameters batchJobId=<JobId> --parameters requestedJobStatus=Cancelled --endpoint oss-cn-hangzhou.aliyuncs.com

<?xml version="1.0" encoding="UTF-8"?>
<UpdateJobStatusResult>
  <JobId>OTE5ZGU1NWMxNjkyNGFkMjhkYTNmOGEzNTU2YmJiOWE=</JobId>
  <Status>Cancelled</Status>
</UpdateJobStatusResult>

Melihat laporan pekerjaan

Setelah job selesai, sistem menghasilkan laporan eksekusi detail di lokasi yang Anda tentukan. Laporan tersebut mencakup dua jenis file utama: file manifest.json dan file laporan detail dalam format CSV. Gunakan laporan ini untuk memahami status pemrosesan setiap objek, melihat kode respons HTTP, serta mengidentifikasi penyebab kegagalan guna troubleshooting dan validasi hasil.

<Bucket>/<Prefix>/<JobId>/results/

<Report>
    <Bucket>my-bucket</Bucket>
    <Prefix>batch-reports/</Prefix>
    <ReportScope>AllTasks</ReportScope>
</Report>

{
  "Format": "Report_CSV_20250901",
  "ReportCreationDate": "2025-10-31T07:18:56Z",
  "Results": [
    {
      "TaskExecutionStatus": "succeeded",
      "Bucket": "test-bucket",
      "MD5Checksum": "\"424356315f4a82c1b6a4c190dbed15d9\"",
      "Key": "reports/prefix-job-0/job-MTRiZGI1NDFiMTI2NDFiNDg0YWQyYTM2YmY1NzNjNDM=/results/report-0.csv"
    }
  ],
  "ReportSchema": "Bucket,Key,VersionId,HTTPStatus,Error"
}

{
  "Format": "Report_CSV_20250901",
  "ReportCreationDate": "2025-10-31T07:37:56Z",
  "Results": [
    {
      "TaskExecutionStatus": "failed",
      "Bucket": "test-bucket",
      "MD5Checksum": "\"85749f22b5b62b161daf00b4adcf6da7\"",
      "Key": "reports/prefix-job-0/job-M2E4MDkwNGJmNmQzNDgwYmE4ODI1YjdjNDgyNjk5NmM=/results/report-0.csv"
    }
  ],
  "ReportSchema": "Bucket,Key,VersionId,HTTPStatus,Error"
}

test-bucket,batchOperation%2F1761895099%2Fobject-1.txt,,200,
test-bucket,batchOperation%2F1761895099%2Fobject-9.txt,,200,
test-bucket,batchOperation%2F1761895099%2Fobject-4.txt,,200,
test-bucket,batchOperation%2F1761895099%2Fobject-8.txt,,200,
test-bucket,batchOperation%2F1761895099%2Fobject-3.txt,,200,

test-bucket,batchOperation%2F1761896253%2Fobject-0.txt,,403,"Error returned by Service. {""EC"":""0003-00000001"",""Error Code"":""AccessDenied"",""Http Status Code"":403,""Message"":""You have no right to access this object."",""Request Endpoint"":""PUT http://test-bucket.oss-cn-hangzhou-internal.aliyuncs.com/batchOperation/1761896253/object-0.txt?tagging"",""Request Id"":""690467520D9F2E3232004FFD"",""Timestamp"":""2025-10-31T07:37:54Z""}"
test-bucket,batchOperation%2F1761896253%2Fobject-7.txt,,403,"Error returned by Service. {""EC"":""0003-00000001"",""Error Code"":""AccessDenied"",""Http Status Code"":403,""Message"":""You have no right to access this object."",""Request Endpoint"":""PUT http://test-bucket.oss-cn-hangzhou-internal.aliyuncs.com/batchOperation/1761896253/object-7.txt?tagging"",""Request Id"":""69046752A016113937EB7029"",""Timestamp"":""2025-10-31T07:37:54Z""}"

# Download the report manifest file
ossutil cp oss://my-bucket/batch-reports/<JobId>/results/manifest.json ./

# Download the detailed CSV report
ossutil cp oss://my-bucket/batch-reports/<JobId>/results/report-0.csv ./

Penggunaan di lingkungan produksi

Praktik terbaik

Perencanaan job

• Kontrol Skala: Untuk memastikan stabilitas eksekusi, batasi setiap job hingga 100 juta objek. Untuk dataset yang lebih besar, bagi data menjadi beberapa job guna mengurangi risiko kegagalan titik tunggal.

• Manajemen Prioritas: Tetapkan prioritas job yang sesuai untuk mencegah job kritis terblokir. Perkirakan waktu eksekusi guna menjadwalkan jendela pemeliharaan.

• Operasi Konkuren: Urutan eksekusi tidak dijamin saat beberapa job beroperasi secara bersamaan pada kumpulan objek yang sama. Hindari menjalankan operasi konkuren pada objek yang identik.

Optimalisasi kinerja

• Optimalisasi File Manifes: Atur file manifes Anda agar tidak terlalu besar dalam satu file tunggal, karena hal ini dapat memperlambat parsing.

• Pemanfaatan Kuota QPS: Operasi batch menggunakan kuota QPS khusus dan tidak mengonsumsi kuota QPS API aplikasi Anda.

• Kontrol Konkurensi: Jalankan maksimal enam job secara bersamaan untuk menghindari konflik sumber daya.

• Hindari Hotspot: Jika rentang objek untuk operasi mengandung hotspot (misalnya, prefix leksikografis), eksekusi operasi batch dapat melambat. Dalam kasus parah, operasi pada beberapa objek bahkan mungkin gagal.

Penanganan kesalahan

• Laporan Detail: Aktifkan pelaporan detail dengan mengatur ReportScope=AllTasks untuk mendapatkan hasil eksekusi lengkap guna troubleshooting.

• Mekanisme Retry: Dalam kasus langka, jika operasi batch mengalami masalah selama eksekusi, operasi tersebut mungkin dicoba ulang beberapa kali. Anda dikenai biaya berdasarkan jumlah akhir panggilan API yang dilakukan.

• Ambang Batas Kegagalan: Jika lebih dari 20% item dalam job gagal, seluruh job akan segera gagal dan berhenti memproses.

• Anomali Konfirmasi Status: Dalam kasus langka, beberapa operasi mungkin berhasil tetapi ditandai sebagai gagal di laporan penyelesaian. Periksa kembali item yang dilaporkan gagal.

Verifikasi hasil job

• Validasi Integritas Eksekusi: Setelah job selesai, beberapa objek mungkin telah diproses dengan sukses sementara yang lain gagal—terlepas dari status akhir job (misalnya, Complete, Failed, atau Cancelled). Selalu periksa jumlah keberhasilan dan kegagalan di laporan penyelesaian untuk memastikan hasilnya sesuai harapan.

• Rekomendasi Penanganan Kegagalan:

  • Status job Complete hanya berarti proses job telah selesai; tidak menjamin bahwa semua operasi objek berhasil. Anda harus meninjau laporan penyelesaian untuk detailnya.

  • Untuk tugas yang gagal, analisis penyebab kegagalannya dan coba lagi. Untuk job yang sebagian gagal, Anda dapat membuat job ulang berdasarkan laporan kegagalan.

  • Untuk job dengan status Cancelled, Paused, atau Failed, periksa laporan untuk melihat apakah ada objek yang berhasil diproses sebelum job dihentikan.

File manifes

Urutan eksekusi dan konsistensi data

• Urutan Eksekusi: Operasi batch dilakukan pada item yang tercantum dalam file manifes, tetapi urutan eksekusinya tidak dijamin.

• Pembaruan File: Jika objek diperbarui sebelum operasi dilakukan, job akan beroperasi pada versi yang diperbarui. Jangan memodifikasi objek selama job batch sedang berjalan.

• Batasan Penggunaan Prefix: Jika Anda menggunakan prefix untuk menentukan manifes, operasi batch mengabaikan objek apa pun yang ditambahkan ke atau dihapus dari prefix tersebut setelah job dimulai. Jangan menambahkan atau menghapus objek dalam prefix selama job berjalan.

Format file manifes

• Encoding URL: Objek dalam file manifes CSV harus diencode URL. Jika tidak, parsing mungkin gagal.

• Penanganan Kunci Duplikat: Jika file manifes berisi kunci duplikat, operasi akan dieksekusi sekali untuk setiap entri. Urutan eksekusi ini tidak dijamin.

Penjadwalan sumber daya

Penjadwalan prioritas

Rentang prioritas adalah 0 hingga 2.147.483.647.

Kontrol konkurensi

Satu akun dapat menjalankan maksimal enam job secara bersamaan. Job tambahan ditempatkan dalam antrian tunggu.

Status job

Kuota dan batasan

Penagihan

Batch Operations dikenai biaya berdasarkan skema bayar sesuai penggunaan sebesar CNY 1 per 1 juta objek yang diproses. Tidak ada biaya untuk pembuatan atau manajemen job, serta tidak ada biaya transfer data tambahan.

Contoh penagihan:

• Menandai 5 juta objek: 5 juta / 1 juta × CNY 1 = CNY 5

• Memproses 5 miliar objek: 5 miliar / 1 juta × CNY 1 = CNY 5.000

Tips optimalisasi biaya: Gabungkan operasi batch terkait ke dalam satu job untuk mengurangi overhead. Gunakan prefix yang tepat atau file manifes untuk menghindari pemrosesan objek yang tidak perlu. Jadwalkan operasi batch yang tidak mendesak selama jam sepi.

FAQ

Job macet di status Preparing

Penyebab umum meliputi:

• File manifes besar yang membutuhkan waktu lama untuk diurai.

• Pemindaian prefix yang mencakup banyak objek.

• Beban sistem tinggi, yang menyebabkan antrian pemrosesan padat.

Untuk mengatasinya, bagi job besar menjadi job yang lebih kecil atau gunakan file manifes yang telah dihasilkan sebelumnya.

Menangani operasi objek yang gagal

Ikuti langkah-langkah berikut:

1. Unduh laporan penyelesaian untuk menganalisis penyebab kegagalan.

2. Buat job baru untuk mencoba ulang operasi pada objek yang gagal.

3. Verifikasi pengaturan izin dan pastikan peran RAM memiliki izin yang diperlukan.

Membatalkan job yang sedang berjalan

Gunakan permintaan berikut:

POST /?batchJobStatus&batchJobId=<JobId>&requestedJobStatus=Cancelled&statusUpdateReason=Cancelled by user HTTP/1.1
Host: oss-cn-hangzhou.aliyuncs.com
Authorization: <SignatureInformation>

Mendapatkan kesalahan AccessDenied

Verifikasi izin berikut:

1. Pastikan pengguna RAM memiliki izin oss:CreateBatchJob.

2. Verifikasi bahwa peran RAM memiliki izin yang diperlukan untuk operasi tersebut.

3. Untuk operasi lintas bucket, konfirmasi bahwa bucket tujuan memiliki izin yang benar.

Izin peran RAM

Peran RAM harus mencakup:

• Izin baca dan tulis untuk sumber daya OSS.

• Izin untuk memanggil API Batch Operations.

• Izin menulis untuk bucket tujuan laporan penyelesaian.

Kebijakan kepercayaan harus mengizinkan layanan OSS untuk mengasumsikan peran tersebut. Berikut contohnya:

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": ["oss.aliyuncs.com"]
      }
    }
  ]
}

Tingkatkan kinerja Batch Operations

Pertimbangkan praktik terbaik berikut:

1. Atur file manifes secara efisien dan hindari menggunakan satu file yang terlalu besar.

2. Hindari menjalankan job besar selama jam sibuk bisnis.

3. Tetapkan prioritas lebih tinggi untuk memproses job kritis terlebih dahulu.

4. Batasi jumlah objek dalam satu job hingga 100 juta untuk mencegah waktu eksekusi yang lama.

5. Hindari membagi job besar menjadi terlalu banyak job kecil, misalnya membagi 1 juta objek menjadi 1.000 job. Hal ini meningkatkan overhead penjadwalan.

Job selesai lambat

Penyebab umum meliputi:

• Distribusi objek tidak merata, yang menyebabkan beberapa shard data membutuhkan waktu lebih lama untuk diproses.

• Hotspot data di bucket sumber atau tujuan, yang dapat menurunkan kecepatan pemrosesan.

• Terlalu banyak job konkuren, yang menyebabkan konflik sumber daya.

Untuk mengatasinya, sesuaikan strategi penjadwalan job Anda atau kurangi jumlah job konkuren.