Alibaba Cloud Model Studio:Impor Model

Prasyarat

Sebelum melakukan impor, pastikan kondisi berikut terpenuhi:

• Persiapan Bucket OSS: Buat bucket OSS dan tambahkan tag ke dalamnya.

  Catatan

  • Kelas penyimpanan bucket OSS yang didukung tidak mencakup Archive, Cold Archive, dan Deep Cold Archive. Bucket dengan enkripsi sisi server yang diaktifkan didukung, demikian pula bucket privat.

  • Jangan menyimpan file model di direktori root bucket OSS. Pilih subdirektori yang sudah ada atau buat yang baru agar Alibaba Cloud Model Studio dapat mengaksesnya.

  • Anda dapat mengimpor file model dengan ukuran berapa pun. Setelah diimpor, file tersebut akan menggunakan ruang penyimpanan gratis yang disediakan oleh Alibaba Cloud Model Studio.

• Persiapan file model: File model Anda harus memenuhi persyaratan dan batasan impor. Letakkan folder model secara langsung di bucket OSS. Sistem akan mendeteksinya secara otomatis.

Model Dasar yang Didukung

Saat ini, Anda dapat mengimpor versi fine-tuned LoRA dari model dasar berikut:

Prosedur

Ikuti langkah-langkah berikut untuk mengimpor model LoRA dari OSS ke Model Studio:

1. Pada halaman My Models, klik tombol Import Model.

2. Pada halaman Import Model, masukkan informasi berikut:

   • Model name: Masukkan nama tampilan untuk model (maksimal 50 karakter).

   • Base model: Pilih model dasar yang sesuai dengan model LoRA Anda.

   • Training method: Pilih metode pelatihan yang digunakan untuk model tersebut. Opsi ini tergantung pada model dasar yang dipilih dan muncul secara otomatis setelah pemilihan.

   • Import source: Hanya "Import from OSS" yang didukung. Opsi ini dipilih secara default.

   • Bucket: Pilih bucket OSS yang menyimpan file model Anda.

   • Model directory: Telusuri dan pilih direktori dalam bucket yang dipilih yang berisi checkpoint model Anda.

   • Model encryption: Untuk melindungi data Anda, platform mengaktifkan enkripsi sisi server OSS (SSE-OSS) menggunakan kunci yang dikelola sepenuhnya. Algoritma enkripsi yang digunakan adalah AES256.

3. Setelah memverifikasi informasi, klik OK untuk mengirim permintaan impor. Untuk membatalkan, klik Cancel untuk kembali ke halaman daftar. Sistem akan memvalidasi format dan integritas file model. Jika validasi berhasil, proses impor dimulai. Setelah selesai, lihat model yang diimpor pada halaman My Models dan lakukan penerapan, fine-tune inkremental, atau hapus model tersebut.

   Status model yang diimpor meliputi: Creating (sedang mengimpor), Created (impor berhasil, siap diterapkan), Creation Failed (impor gagal), dan Expired (file model berubah). Halaman daftar juga menampilkan nama/ID model, model dasar, sumber, metode penerapan yang didukung, serta waktu pembuatan. Gunakan kotak pencarian di bagian atas untuk memfilter model berdasarkan nama.

Persyaratan dan Batasan Impor

Sebelum mengimpor model LoRA, pastikan persyaratan berikut terpenuhi:

• File yang diperlukan: Bucket OSS harus berisi file berikut:

  • adapter_model.safetensors: File bobot adapter LoRA yang disimpan dalam format SafeTensors.

  • adapter_config.json: File konfigurasi adapter LoRA yang berisi parameter kunci seperti rank dan alpha.

• Batasan parameter rank: Nilai rank harus 8, 16, 32, atau 64. Semua layer LoRA dalam model yang sama harus menggunakan nilai rank yang sama.

• Model dengan kosakata yang dimodifikasi: Model yang menambahkan token baru atau memodifikasi kosakata asli selama pelatihan tidak dapat diimpor. Sistem mengharuskan kosakata harus persis sama dengan model dasar.

• Model dengan templat chat yang dimodifikasi: Model yang memodifikasi chat_template selama pelatihan tidak dapat diimpor. Sistem hanya mendukung chat_template default dari model dasar open-source yang sesuai.

  Konfigurasi chat_template biasanya terletak di salah satu tempat berikut:

  • Bidang chat_template dalam file config.json model.

    

  • Bidang chat_template dalam file tokenizer_config.json.

    

• Model vision-language dengan VIT yang tidak dibekukan: Untuk model VL (Vision-Language), bagian Vision Transformer (VIT) harus dibekukan. Model yang adapter LoRA-nya mencakup bobot terkait visual (menunjukkan VIT tidak dibekukan) tidak dapat diimpor.

  Jalankan kode berikut untuk memeriksa:

  from safetensors import safe_open
  import argparse
  
  def print_safetensor_structure(file_path):
      print(f"Loading safetensor file: {file_path}")
      print("="*80)
      
      with safe_open(file_path, framework="pt") as f:
          keys = f.keys()
          print(f"Found {len(keys)} tensors in the file:\n")
          
          for key in sorted(keys):
              tensor = f.get_tensor(key)
              shape = tuple(tensor.shape)
              dtype = str(tensor.dtype)
              device = tensor.device if hasattr(tensor, 'device') else 'cpu'
              
              lora_tag = " [LoRA]" if "lora_A" in key or "lora_B" in key else ""
              
              print(f"[{dtype:>14}] {shape} | {key} {lora_tag}")
  
  if __name__ == "__main__":
      parser = argparse.ArgumentParser(description="Print structure of a .safetensors LoRA adapter.")
      parser.add_argument("filepath", type=str, help="Path to the .safetensors file")
      args = parser.parse_args()
  
      print_safetensor_structure(args.filepath)

  Metode: Periksa apakah file adapter_model.safetensors berisi parameter bobot terkait visual. Jika file tersebut berisi kunci parameter yang diawali dengan visual (misalnya, visual.encoder.layer.0...), komponen ViT tidak dibekukan, sehingga model tidak dapat diimpor.

  

  

FAQ