Platform For AI:Pelatihan Scorecard

Pelatihan Scorecard melibatkan konsep-konsep berikut:

• Rekayasa fitur

  Perbedaan utama antara model scorecard dan model linier standar terletak pada proses rekayasa fitur yang diterapkan pada data sebelum pelatihan. Komponen Pelatihan Scorecard menyediakan dua metode rekayasa fitur:

  • Gunakan komponen Binning untuk mendiskretisasi fitur. Kemudian, terapkan one-hot encoding pada setiap variabel berdasarkan hasil binning untuk menghasilkan N variabel dummy, di mana N adalah jumlah bin untuk variabel tersebut.

    Catatan

    Saat menggunakan transformasi variabel dummy, Anda dapat menetapkan batasan antara variabel dummy dari setiap variabel asli. Untuk informasi lebih lanjut, lihat Binning.

  • Gunakan komponen Binning untuk mendiskretisasi fitur, lalu lakukan konversi Weight of Evidence (WOE). Ini menggantikan nilai asli suatu variabel dengan nilai WOE dari bin tempat variabel tersebut berada.

• Transformasi skor

  Dalam penilaian kredit, transformasi linier mengonversi odds sampel yang diprediksi menjadi skor. Transformasi ini biasanya menggunakan rumus berikut.Anda dapat menentukan transformasi linier dengan tiga parameter berikut:

  • scaledValue: Skor garis dasar.

  • odds: Nilai odds pada skor garis dasar yang ditentukan.

  • pdo (Points to Double Odds): Jumlah poin yang harus ditambahkan agar nilai odds menjadi dua kali lipat.

  Sebagai contoh, jika scaledValue=800, odds=50, dan pdo=25, dua titik pada garis tersebut didefinisikan sebagai berikut:

  log(50)=a×800+b
  log(100)=a×825+b

  Dengan menyelesaikan nilai a dan b, Anda dapat menerapkan transformasi linier pada skor model untuk mendapatkan skor akhir variabel.

  Tentukan informasi penskalaan dalam format JSON menggunakan parameter -Dscale, seperti pada contoh berikut.

  {"scaledValue":800,"odds":50,"pdo":25}

  Jika parameter -Dscale tidak kosong, Anda harus menentukan nilai untuk scaledValue, odds, dan pdo.

• Batasan pelatihan

  Pelatihan Scorecard mendukung penambahan batasan pada variabel. Misalnya, Anda dapat menetapkan skor untuk bin tertentu ke nilai tetap, menerapkan hubungan proporsional antara skor dua bin, membatasi rentang skor antar bin, atau mengurutkan skor bin sesuai dengan nilai WOE-nya. Algoritma optimisasi terkendali mendasari penerapan batasan-batasan ini. Anda dapat mengonfigurasi batasan secara visual di komponen Binning, yang kemudian menghasilkan kondisi dalam format JSON dan secara otomatis meneruskannya ke komponen pelatihan downstream. Di panel pengaturan parameter untuk node Binning eksperimen scorecard Anda, atur Feature Columns (mendukung tipe STRING, BIGINT, dan DOUBLE), Label Column (nilainya adalah class), dan Positive Label ke 1. Lalu, pilih opsi Custom JSON File for Binning dan unggah file batasan Anda (misalnya, binning.txt). Batasan JSON disimpan sebagai string dalam tabel satu baris dan satu kolom. Sistem mendukung enam jenis batasan JSON berikut:

  • "<": Memastikan bobot variabel dalam urutan naik.

  • ">": Memastikan bobot variabel dalam urutan turun.

  • "=": Menetapkan bobot variabel ke nilai tetap.

  • "%": Menerapkan hubungan proporsional antara bobot variabel.

  • "UP": Menetapkan batas atas untuk bobot variabel. Misalnya, nilai 0,5 berarti bobot yang dilatih tidak boleh melebihi 0,5.

  • "LO": Menetapkan batas bawah untuk bobot variabel. Misalnya, nilai 0,5 berarti bobot yang dilatih minimal 0,5.

  Tabel ini harus berisi satu kolom bertipe STRING. Kode berikut menampilkan contoh string JSON.

  {
      "name": "feature0",
      "<": [
          [0,1,2,3]
      ],
      ">": [
          [4,5,6]
      ],
      "=": [
          "3:0","4:0.25"
      ],
      "%": [
          ["6:1.0","7:1.0"]
      ]
  }

• Batasan bawaan

  Setiap variabel asli memiliki batasan implisit yang tidak perlu Anda tentukan: rata-rata skor untuk satu variabel di seluruh populasi adalah nol. Karena batasan ini, scaled_weight dari intercept model merepresentasikan skor rata-rata seluruh populasi.

• Algoritma optimisasi

  Anda dapat mengonfigurasi algoritma optimisasi di opsi advanced. Sistem mendukung empat algoritma optimisasi berikut:

  • L-BFGS: Algoritma optimisasi orde pertama yang mendukung dataset fitur berskala besar. Ini merupakan algoritma optimisasi tanpa kendala dan secara otomatis mengabaikan semua batasan yang ditentukan.

  • Metode Newton: Algoritma klasik orde kedua yang dikenal karena konvergensi cepat dan akurasi tinggi. Namun, metode ini tidak cocok untuk fitur berskala besar karena memerlukan perhitungan matriks Hessian orde kedua. Ini juga merupakan algoritma optimisasi tanpa kendala dan mengabaikan semua batasan yang ditentukan.

  • Metode Barrier: Algoritma optimisasi orde kedua. Tanpa kendala, metode ini identik dengan metode Newton. Performa komputasi dan akurasinya mirip dengan SQP.

  • SQP

    SQP adalah algoritma optimisasi orde kedua yang mendukung kendala. Tanpa kendala, metode ini identik dengan metode Newton. Secara umum, kami merekomendasikan penggunaan SQP karena performanya mirip dengan metode barrier.

  Catatan

  • L-BFGS dan metode Newton adalah algoritma optimisasi tanpa kendala. Metode barrier dan SQP adalah algoritma optimisasi dengan kendala.

  • Jika Anda tidak familiar dengan algoritma optimisasi, kami merekomendasikan menyetel algoritma optimisasi ke Auto Selection. Sistem akan secara otomatis memilih algoritma paling sesuai berdasarkan ukuran data dan kendala Anda.

• Seleksi fitur

  Komponen pelatihan mendukung seleksi fitur stepwise. Metode ini menggabungkan seleksi maju (forward selection) dan eliminasi mundur (backward elimination). Setiap kali variabel baru ditambahkan ke model melalui seleksi maju, sistem melakukan langkah eliminasi mundur pada semua variabel yang sudah ada di model untuk menghapus variabel yang tidak lagi memenuhi syarat signifikansi. Karena mendukung berbagai fungsi objektif dan metode transformasi fitur, proses stepwise mendukung kriteria seleksi berikut:

  • Kontribusi marginal: Berlaku untuk semua fungsi objektif dan metode rekayasa fitur.

    Kontribusi marginal variabel X adalah selisih antara nilai fungsi objektif dua model pada konvergensi: Model A (tidak mencakup X) dan Model B (mencakup semua variabel dari A ditambah X). Saat menggunakan transformasi variabel dummy, kontribusi marginal variabel asli X didefinisikan sebagai selisih fungsi objektif antara dua model: satu mencakup semua variabel dummy untuk X dan satu tanpa variabel tersebut. Oleh karena itu, penggunaan kontribusi marginal untuk seleksi fitur kompatibel dengan semua metode rekayasa fitur.

    Keuntungan metode ini adalah fleksibilitasnya. Metode ini tidak terbatas pada tipe model tertentu dan secara langsung memilih variabel yang meningkatkan fungsi objektif. Kerugiannya adalah, tidak seperti signifikansi statistik yang menggunakan ambang batas p-value 0,05, kontribusi marginal tidak memiliki ambang batas universal. Untuk pengguna baru, kami merekomendasikan memulai dengan ambang batas 10E-5.

  • Uji skor: Hanya mendukung regresi logistik dengan konversi WOE atau tanpa rekayasa fitur.

    Dalam proses seleksi maju, model dengan hanya intercept dilatih terlebih dahulu. Pada setiap langkah berikutnya, sistem menghitung statistik chi-square skor untuk setiap variabel yang belum masuk model. Variabel dengan chi-square skor terbesar ditambahkan ke model. Proses ini kemudian menghitung p-value yang sesuai dengan statistik tersebut berdasarkan distribusi chi-square. Jika p-value variabel terbaik lebih besar dari ambang batas masuk yang ditentukan (slentry), variabel tersebut tidak ditambahkan dan proses seleksi berhenti.

    Setelah satu putaran seleksi maju, dilakukan satu putaran eliminasi mundur pada variabel yang sudah ada di model. Selama eliminasi mundur, proses menghitung statistik chi-square Wald dan p-value-nya untuk setiap variabel di model. Jika p-value suatu variabel melebihi ambang batas penghapusan yang ditentukan (slstay), variabel tersebut dihapus dari model dan proses berlanjut ke iterasi berikutnya.

  • Uji F: Hanya mendukung regresi linier dengan konversi WOE atau tanpa rekayasa fitur.

    Dalam proses seleksi maju, model dengan hanya intercept dilatih terlebih dahulu. Pada setiap langkah berikutnya, nilai F dihitung untuk setiap variabel yang belum masuk model. Perhitungan nilai F mirip dengan perhitungan kontribusi marginal karena memerlukan pelatihan dua model. Nilai F mengikuti distribusi F, dan p-value-nya dapat diturunkan dari fungsi kepadatan probabilitasnya. Jika p-value suatu variabel melebihi ambang batas masuk yang ditentukan (slentry), variabel tersebut tidak ditambahkan ke model dan proses berhenti.

    Proses eliminasi mundur juga menggunakan nilai F untuk menghitung signifikansi, mirip dengan uji skor.

• Variabel wajib

  Sebelum seleksi fitur dimulai, Anda dapat memaksa variabel tertentu masuk ke model. Variabel ini dikecualikan dari proses seleksi maju dan mundur serta dimasukkan ke model akhir terlepas dari signifikansinya. Anda dapat menggunakan parameter -Dselected di command line untuk menentukan jumlah iterasi dan ambang batas signifikansi dalam format JSON. Kode berikut menampilkan contohnya.

  {"max_step":2, "slentry": 0.0001, "slstay": 0.0001}

  Jika parameter -Dselected kosong atau max_step bernilai 0, proses pelatihan berjalan tanpa seleksi fitur.

Anda dapat mengonfigurasi komponen Pelatihan Scorecard di Machine Learning Designer menggunakan antarmuka visual atau dengan menjalankan perintah PAI. Kode berikut menampilkan contoh perintah PAI.

pai -name=linear_model -project=algo_public
    -DinputTableName=input_data_table
    -DinputBinTableName=input_bin_table
    -DinputConstraintTableName=input_constraint_table
    -DoutputTableName=output_model_table
    -DlabelColName=label
    -DfeatureColNames=feaname1,feaname2
    -Doptimization=barrier_method
    -Dloss=logistic_regression
    -Dlifecycle=8

Komponen Pelatihan Scorecard menghasilkan laporan model yang mencakup informasi binning, batasan bin, dan statistik utama seperti WOE dan kontribusi marginal. Tabel berikut menjelaskan kolom dalam laporan evaluasi model yang ditampilkan di Konsol Web PAI.