Platform For AI：Laporan Optimisasi

Setelah memanggil metode blade.optimize untuk mengoptimalkan model, laporan optimisasi dihasilkan dalam format JSON. Contoh kode berikut menunjukkan struktur laporan optimisasi:

Report: {
  // Informasi lingkungan perangkat lunak, termasuk framework dan Compute Unified Device Architecture (CUDA). 
  "software_context": [
    {
      "software": "tensorflow",
      "version": "1.15.0"
    },
    {
      "software": "cuda",
      "version": "9.0.176"
    }
  ],
  // Informasi lingkungan perangkat keras. 
  "hardware_context": {
    "device_type": "gpu",
    "microarchitecture": "T4"
  },
  "user_config": "",
  // Informasi diagnosis. 
  "diagnosis": {
    "model": "tmp_graph.pbtxt",           
    "test_data_source": "user provided",  
    "shape_variation": "dynamic",         
    "message": "",
    "test_data_info": "input_ids_a_1:0 shape: (1, 9.240) tipe data: int32"
  },
  // Item optimisasi yang mencapai efek optimisasi. 
  "optimizations": [
    {
      "name": "TfStripUnusedNodes", 
      "status": "effective",        
      "speedup": "na",              
      "pre_run": "na",              
      "post_run": "na"              
    },
    {
      "name": "TfAutoMixedPrecisionGpu",
      "status": "effective",
      "speedup": "1,42",
      "pre_run": "9,35 ms",
      "post_run": "6,59 ms"
    }
  ],
  // Hasil optimisasi end-to-end. 
  "overall": {
    "baseline": "10,00 ms",   
    "optimized": "4,38 ms",   
    "speedup": "2,28"         
  },
  // Informasi model. 
  "model_info": {
    "input_format": "frozen_pb"  
  },
  
  // Informasi kompatibilitas. 
  "compatibility_list": [
    {
      "device_type": "gpu",
      "microarchitecture": "T4"
    }
  ],
  "model_sdk": {}
}

Tabel berikut menjelaskan parameter dalam laporan optimisasi.

Parameter		Deskripsi
software_context		Informasi lingkungan perangkat lunak, termasuk framework dan CUDA.
hardware_context		Informasi lingkungan perangkat keras, termasuk jenis perangkat dan spesifikasi.
user_config		Informasi konfigurasi pengguna. Dalam laporan optimisasi yang dihasilkan oleh PAI-Blade, parameter ini dibiarkan kosong.
diagnosis	model	Nama file model.
	test_data_source	Sumber data uji. Nilai valid: user provided: Data uji disediakan oleh pengguna. blade deduced: Data uji diinferensi oleh PAI-Blade.
	shape_variation	Variasi bentuk input. Nilai valid: static multiple_static_shapes dynamic
	message	Pesan kesalahan yang dikembalikan jika PAI-Blade gagal menginferensi data uji.
	test_data_info	Informasi tentang data uji, termasuk bentuk dan tipe data.
optimizations	name	Nama item optimisasi.
	status	Menunjukkan apakah optimisasi berpengaruh. Nilai valid: effective: Optimisasi berpengaruh. ineffective: Optimisasi tidak berpengaruh.
	speedup	Rasio percepatan, yang dihitung dengan menggunakan rumus berikut: speedup = pre_run/post_run.
	pre_run	Kecepatan sebelum optimisasi.
	post_run	Kecepatan setelah optimisasi.
overall	baseline	Latensi sebelum percepatan.
	optimized	Latensi setelah percepatan.
	speedup	Rasio percepatan, yang dihitung dengan menggunakan rumus berikut: speedup = baseline/optimized.
model_info	input_format	Format model asli.
compatibility_list		Informasi kompatibilitas. Untuk memastikan bahwa model yang dioptimalkan dapat dijalankan dengan benar dan memberikan kinerja yang diharapkan, Anda harus menjalankan model pada perangkat yang dijelaskan dalam informasi kompatibilitas.
model_sdk		Informasi SDK tambahan yang diperlukan untuk penerapan model. Parameter ini dibiarkan kosong.