Object Storage Service:Ikhtisar AI VibeFlow

Konsep inti

• DataPipeline: objek manajemen inti dalam AI VibeFlow. Satu DataPipeline merepresentasikan satu aturan vektorisasi dan berjalan secara otomatis setelah dibuat.

• Source data: mendefinisikan sumber data mentah yang akan divectorisasi, termasuk bucket sumber, awalan objek, jenis file (teks, gambar, dan video), serta mode pemrosesan (data eksisting, data inkremental, atau keduanya).

• Vectorization settings: mendefinisikan sumber model vektor, Kunci API Model Studio, model vektor, frekuensi pengambilan frame video (hanya tersedia untuk model multimodal), serta apakah akan menghapus secara kaskade vektor terkait ketika objek sumber dihapus.

• Destination data: mendefinisikan bucket vektor tujuan, indeks vektor, dan aturan penamaan kunci vektor tempat data vektor ditulis, serta apakah akan menuliskan ObjectTag dan UserMeta sebagai metadata skalar.

• Exception handling: mendefinisikan kebijakan pemrosesan ketika satu tugas vektorisasi gagal (lewati dan lanjutkan, lewati dan catat log, atau hentikan segera), serta memungkinkan Anda menentukan bucket dan awalan yang menerima pesan error.

Manfaat

• End-to-end workflow: volume besar data mentah tidak terstruktur, proses vektorisasi, dan penyimpanan data vektor semuanya ditangani dalam OSS secara tertutup, sehingga menyederhanakan pipeline produksi.

• Automatic processing: mendukung vektorisasi batch untuk data eksisting maupun vektorisasi otomatis untuk data baru yang diunggah, tanpa intervensi manual.

• Synchronized data updates: ketika data mentah dalam bucket objek dimodifikasi, ditimpa, atau dihapus, Anda dapat memilih untuk memperbarui dan menghapus secara sinkron data vektor terkait dalam bucket vektor, sehingga mengurangi biaya maintenance manual.

• Fleksibilitas model vektor: langsung memanggil model vektor teks dan multimodal yang disediakan oleh Alibaba Cloud Model Studio (seperti text-embedding-v4 dan tongyi-embedding-vision-plus), sehingga Anda dapat memilih model dan dimensi yang sesuai dengan kebutuhan bisnis.

• Transparansi biaya: vektorisasi menggunakan Kunci API Model Studio milik Anda sendiri, dan biaya penyematan (embedding) dikenakan langsung oleh Model Studio. Di sisi OSS, Anda hanya dikenai biaya untuk permintaan API dan penyimpanan vektor, tanpa biaya layanan tambahan.

• Pelacakan kegagalan: untuk setiap permintaan yang gagal, informasi seperti ErrorCode, ErrorMessage, dan RequestId Model Studio dapat disimpan sebagai objek ke bucket tertentu, sehingga memudahkan pelacakan masalah dan percobaan ulang.

Skenario penggunaan

AI VibeFlow cocok untuk semua skenario yang memerlukan vektorisasi volume besar data tidak terstruktur di OSS. Kasus penggunaan khas meliputi:

• Semantic retrieval and RAG: vektorisasi dokumen, gambar, dan video dalam bucket objek OSS, lalu tulis vektornya ke bucket vektor, kemudian gabungkan dengan model bahasa besar untuk membangun aplikasi Retrieval-Augmented Generation (RAG).

• E-commerce image and text search: lakukan vektorisasi multimodal pada gambar produk dan deskripsinya, lalu tulis vektornya ke bucket vektor untuk mendukung pencarian gambar-ke-gambar dan teks-ke-gambar.

• Advertising and marketing asset management: vektorisasi otomatis gambar dan video pemasaran untuk memungkinkan recall semantik aset dan rekomendasi konten serupa.

• Enterprise knowledge base construction: vektorisasi dokumen pengetahuan internal dan gambar bank soal, lalu tulis vektornya ke bucket vektor untuk memungkinkan pengambilan semantik terpadu lintas lini bisnis.

• Multimedia content governance: kombinasikan kemiripan vektor dengan penyaringan metadata skalar untuk memungkinkan manajemen detail halus dan distribusi aset gambar serta video.

Penagihan

Penggunaan AI VibeFlow menghasilkan biaya berikut, yang dikenakan secara terpisah oleh OSS dan Alibaba Cloud Model Studio:

Batasan

• Satu akun dapat membuat hingga 1.000 DataPipeline dalam satu Wilayah.

• Satu DataPipeline berkorespondensi dengan satu model vektor dan satu indeks vektor.

• Bucket objek sumber, bucket vektor tujuan, dan bucket yang menerima pesan error harus berada dalam Wilayah yang sama.

• Kapasitas maksimum satu indeks vektor adalah 2 miliar baris. Setelah indeks penuh, pipeline secara otomatis masuk ke status Paused.

• Ketika ObjectTag dan UserMeta diekstraksi sebagai metadata vektor, Anda dapat menentukan hingga 10 kunci untuk masing-masing.

Izin

Saat membuat DataPipeline, Anda harus menentukan peran RAM yang digunakan OSS untuk menjalankan tugas vektorisasi di latar belakang. AI VibeFlow menggunakan kebijakan kepercayaan khusus (datapipeline-oss.aliyuncs.com) dan tidak dapat menggunakan kembali peran layanan lain seperti AliyunOSSRole.

{
  "Statement": [
    {
      "Action": "ram:PassRole",
      "Effect": "Allow",
      "Resource": "acs:ram::<account-id>:role/oss-embedding-*",
      "Condition": {
        "StringEquals": {
          "acs:Service": "datapipeline-oss.aliyuncs.com"
        }
      }
    }
  ],
  "Version": "1"
}

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Resource": "acs:ram::<account-id>:role/<RoleName>"
    }
  ],
  "Version": "1"
}

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "ram:CreateRole",
        "ram:CreatePolicy",
        "ram:AttachPolicyToRole"
      ],
      "Resource": "*"
    }
  ]
}

{
  "Version": "1",
  "Statement": [
    {
      "Action": [
        "oss:GetObject",
        "oss:GetObjectTagging",
        "oss:GetBucketStat",
        "oss:ListObjects"
      ],
      "Resource": [
        "acs:oss:*:*:<source-bucket-name>",
        "acs:oss:*:*:<source-bucket-name>/*"
      ],
      "Effect": "Allow"
    },
    {
      "Action": [
        "oss:GetVectorIndex",
        "oss:PutVectors",
        "oss:DeleteVectors"
      ],
      "Resource": [
        "acs:ossvector:*:*:<vector-bucket-name>",
        "acs:ossvector:*:*:<vector-bucket-name>/<vector-index-name>"
      ],
      "Effect": "Allow"
    },
    {
      "Action": [
        "oss:PutObject",
        "oss:GetBucketStat"
      ],
      "Resource": [
        "acs:oss:*:*:<error-output-bucket-name>",
        "acs:oss:*:*:<error-output-bucket-name>/*"
      ],
      "Effect": "Allow"
    }
  ]
}

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "datapipeline-oss.aliyuncs.com"
        ]
      }
    }
  ],
  "Version": "1"
}

Referensi

• AI VibeFlow mulai

• Gunakan AI VibeFlow untuk menghasilkan data vektor

• Ikhtisar OSS Vectors

• Vektorisasi teks dan multimodal dengan Model Studio