Function Compute：Membangun sistem pemrosesan audio dan video yang elastis dan sangat tersedia dalam arsitektur serverless

Sistem pemrosesan video sederhana

Prasyarat

• Function Compute telah diaktifkan. Untuk informasi lebih lanjut, lihat Langkah 1: Aktifkan Function Compute.

• Object Storage Service telah diaktifkan. Untuk informasi lebih lanjut, lihat Buat Bucket.

Prosedur

1. Buat layanan.

   1. Masuk keKonsol Function Compute. Di panel navigasi kiri, klik Services & Functions.

   2. Di bilah navigasi atas, pilih wilayah. Pada halaman Services, klik Create Service.

   3. Di panel Buat Layanan, masukkan nama layanan dan deskripsi, konfigurasikan parameter berdasarkan kebutuhan bisnis Anda, lalu klik OK.

      Dalam contoh ini, peran layanan diatur ke AliyunFCDefaultRole dan AliyunOSSFullAccess ditambahkan ke kebijakan.

      Untuk informasi lebih lanjut tentang cara membuat layanan, lihat Buat Layanan.

2. Buat fungsi.

   1. Di halaman Functions, klik Create Function.

   2. Pada halaman Create Function, pilih metode untuk membuat fungsi, konfigurasikan parameter berikut, lalu klik Create.

      • Metode untuk membuat fungsi: Use Built-in Runtime.

      • Basic Settings: Konfigurasikan informasi dasar fungsi, termasuk Function Name dan Handler Type. Atur Handler Type ke Event Handler.

      • Code: Atur Runtime ke Python 3.9 dan Metode Unggah Kode ke Use Sample Code.

      • Advanced Settings: Pemrosesan file video memakan waktu. Dalam contoh ini, vCPU Capacity diatur ke 4 vCPU, Memory Capacity diatur ke 8 GB, Size of Temporary Disk diatur ke 10 GB, dan Execution Timeout Period diatur ke 7200 detik. Pastikan untuk mempertimbangkan ukuran video Anda saat mengonfigurasi parameter sebelumnya.

      Simpan nilai default untuk parameter lainnya. Untuk informasi lebih lanjut tentang cara membuat fungsi, lihat Buat Fungsi.

3. Buat pemicu OSS.

   1. Pada halaman Detail Fungsi, klik tab Triggers, pilih versi atau alias dari daftar drop-down Version or Alias, lalu klik Create Trigger.

   2. Di panel Buat Pemicu, tentukan parameter terkait dan klik OK.

      Parameter	Deskripsi	Contoh
      Trigger Type	Pilih jenis pemicu. Dalam contoh ini, OSS dipilih.	OSS
      Name	Masukkan nama pemicu.	oss-trigger
      Version or Alias	Tentukan versi atau alias. Nilai defaultnya adalah LATEST. Jika Anda ingin membuat pemicu untuk versi atau alias lain, pilih versi atau alias dari daftar drop-down Version or Alias di halaman Detail Fungsi. Untuk informasi lebih lanjut tentang versi dan alias, lihat Kelola versi dan Kelola alias.	LATEST
      Bucket Name	Pilih bucket yang Anda buat.	testbucket
      Object Prefix	Masukkan awalan nama objek yang ingin Anda cocokkan. Kami sarankan Anda mengonfigurasi Awalan Objek dan Akhiran Objek untuk mencegah biaya tak terduga yang dihasilkan oleh loop bersarang. Jika Anda menentukan tipe acara yang sama untuk pemicu berbeda dari sebuah bucket, awalan dan akhiran tidak boleh sama. Untuk informasi lebih lanjut, lihat Aturan Pemicu. Penting Awalan objek tidak dapat dimulai dengan garis miring (/). Jika tidak, pemicu OSS tidak akan berfungsi.	source
      Object Suffix	Masukkan akhiran nama objek yang ingin Anda cocokkan. Kami sarankan Anda mengonfigurasi Awalan Objek dan Akhiran Objek untuk mencegah biaya tak terduga yang dihasilkan oleh loop bersarang. Jika Anda menentukan tipe acara yang sama untuk pemicu berbeda dari sebuah bucket, awalan dan akhiran tidak boleh sama. Untuk informasi lebih lanjut, lihat Aturan Pemicu.	mp4
      Trigger Event	Pilih satu atau beberapa acara pemicu. Untuk informasi lebih lanjut tentang tipe acara OSS, lihat Acara OSS.	oss:ObjectCreated:PutObject, oss:ObjectCreated:PostObject, oss:ObjectCreated:CompleteMultipartUpload
      Role Name	Tentukan nama peran manajemen akses sumber daya (RAM). Dalam contoh ini, AliyunOSSEventNotificationRole dipilih. Catatan Setelah Anda mengonfigurasi parameter sebelumnya, klik OK. Jika ini pertama kalinya Anda membuat pemicu jenis ini, klik Authorize Now di pesan yang muncul.	AliyunOSSEventNotificationRole

4. Tulis kode fungsi.

   1. Pada halaman Detail Fungsi, klik tab Code lalu tulis kode di editor kode.

      Fungsi tersebut mengonversi file MP4 ke format FLV dan menyimpan file FLV di direktori dest bucket OSS. Dalam contoh ini, Python digunakan. Contoh kode berikut memberikan ilustrasi:

      # -*- coding: utf-8 -*-
      import logging
      import oss2
      import os
      import json
      import subprocess
      import shutil
      
      logging.getLogger("oss2.api").setLevel(logging.ERROR)
      logging.getLogger("oss2.auth").setLevel(logging.ERROR)
      LOGGER = logging.getLogger()
      
      
      def get_fileNameExt(filename):
          (_, tempfilename) = os.path.split(filename)
          (shortname, extension) = os.path.splitext(tempfilename)
          return shortname, extension
      
      
      def handler(event, context):
          LOGGER.info(event)
          evt = json.loads(event)
          evt = evt["events"]
          oss_bucket_name = evt[0]["oss"]["bucket"]["name"]
          object_key = evt[0]["oss"]["object"]["key"]
          
          output_dir = "dest"
          dst_format = "flv"
          shortname, _ = get_fileNameExt(object_key)
          creds = context.credentials
          auth = oss2.StsAuth(creds.accessKeyId,
                              creds.accessKeySecret, creds.securityToken)
          oss_client = oss2.Bucket(auth, 'oss-%s-internal.aliyuncs.com' %
                                   context.region, oss_bucket_name)
      
          exist = oss_client.object_exists(object_key)
          if not exist:
              raise Exception("objek {} tidak ada".format(object_key))
      
          input_path = oss_client.sign_url('GET', object_key, 6 * 3600)
          # Penanganan khusus M3U8.
          rid = context.request_id
          if dst_format == "m3u8":
              return handle_m3u8(rid, oss_client, input_path, shortname, output_dir)
          else:
              return handle_common(rid, oss_client, input_path, shortname, output_dir, dst_format)
      
      
      def handle_m3u8(request_id, oss_client, input_path, shortname, output_dir):
          ts_dir = '/tmp/ts'
          if os.path.exists(ts_dir):
              shutil.rmtree(ts_dir)
          os.mkdir(ts_dir)
          transcoded_filepath = os.path.join('/tmp', shortname + '.ts')
          split_transcoded_filepath = os.path.join(
              ts_dir, shortname + '_%03d.ts')
          cmd1 = ['ffmpeg', '-y', '-i', input_path, '-c:v',
                  'libx264', transcoded_filepath]
      
          cmd2 = ['ffmpeg', '-y', '-i', transcoded_filepath, '-c', 'copy', '-map',  '0',  '-f', 'segment',
                  '-segment_list', os.path.join(ts_dir, 'playlist.m3u8'), '-segment_time', '10', split_transcoded_filepath]
      
          try:
              subprocess.run(
                  cmd1, stdout=subprocess.PIPE, stderr=subprocess.PIPE, check=True)
      
              subprocess.run(
                  cmd2, stdout=subprocess.PIPE, stderr=subprocess.PIPE, check=True)
      
              for filename in os.listdir(ts_dir):
                  filepath = os.path.join(ts_dir, filename)
                  filekey = os.path.join(output_dir, shortname, filename)
                  oss_client.put_object_from_file(filekey, filepath)
                  os.remove(filepath)
                  print("Diunggah {} ke {}".format(filepath, filekey))
      
          except subprocess.CalledProcessError as exc:
              # jika transkode gagal, picu fungsi dest-fail
              raise Exception(request_id + " kegagalan transkode, detail: " + str(exc))
      
          finally:
              if os.path.exists(ts_dir):
                  shutil.rmtree(ts_dir)
      
              # Hapus file ts.
              if os.path.exists(transcoded_filepath):
                  os.remove(transcoded_filepath)
      
          return {}
      
      
      def handle_common(request_id, oss_client, input_path, shortname, output_dir, dst_format):
          transcoded_filepath = os.path.join('/tmp', shortname + '.' + dst_format)
          if os.path.exists(transcoded_filepath):
              os.remove(transcoded_filepath)
          cmd = ["ffmpeg", "-y", "-i", input_path, transcoded_filepath]
          try:
              subprocess.run(
                  cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, check=True)
      
              oss_client.put_object_from_file(
                  os.path.join(output_dir, shortname + '.' + dst_format), transcoded_filepath)
          except subprocess.CalledProcessError as exc:
              # jika transkode gagal, picu fungsi dest-fail
              raise Exception(request_id + " kegagalan transkode, detail: " + str(exc))
          finally:
              if os.path.exists(transcoded_filepath):
                  os.remove(transcoded_filepath)
          return {}

   2. Klik Deploy.

5. Uji kode fungsi.

   Anda dapat mengonfigurasi parameter input fungsi untuk mensimulasikan acara OSS dan memverifikasi kode Anda. Dalam operasi nyata, fungsi tersebut secara otomatis dipicu ketika acara OSS tertentu terjadi.

   1. Pada halaman Detail Fungsi, klik tab Code, klik ikon di sebelah Test Function, lalu pilih Configure Test Parameters dari daftar drop-down.

   2. Di panel Configure Test Parameters, klik tab Create New Test Event atau Modify Existing Test Event, dan tentukan Event Name dan isi acara. Lalu, klik OK.

      Contoh kode berikut memberikan ilustrasi konfigurasi acara. Untuk informasi lebih lanjut tentang parameter acara, lihat Langkah 2: Konfigurasikan Parameter Input Fungsi.

      {
          "events": [
              {
                  "eventName": "oss:ObjectCreated:CompleteMultipartUpload",
                  "eventSource": "acs:oss",
                  "eventTime": "2022-08-13T06:45:43.000Z",
                  "eventVersion": "1.0",
                  "oss": {
                      "bucket": {
                          "arn": "acs:oss:cn-hangzhou:123456789:testbucket",
                          "name": "testbucket",
                          "ownerIdentity": "164901546557****"
                      },
                      "object": {
                          "deltaSize": 122539,
                          "eTag": "688A7BF4F233DC9C88A80BF985AB****",
                          "key": "source/a.mp4",
                          "size": 122539
                      },
                      "ossSchemaVersion": "1.0",
                      "ruleId": "9adac8e253828f4f7c0466d941fa3db81161****"
                  },
                  "region": "cn-hangzhou",
                  "requestParameters": {
                      "sourceIPAddress": "140.205.XX.XX"
                  },
                  "responseElements": {
                      "requestId": "58F9FF2D3DF792092E12044C"
                  },
                  "userIdentity": {
                      "principalId": "164901546557****"
                  }
              }
          ]
      }

   3. Klik Test Function. Pada tab Code, lihat hasil eksekusi.

Sistem alur kerja pemrosesan video

Prasyarat

• Aktifkan Function Compute dan buat bucket OSS

  • Function Compute telah diaktifkan. Untuk informasi lebih lanjut, lihat Langkah 1: Aktifkan Function Compute.

  • Object Storage Service telah diaktifkan. Untuk informasi lebih lanjut, lihat Buat Bucket.

  • CloudFlow telah diaktifkan. Untuk informasi lebih lanjut, kunjungi Aktifkan CloudFlow.

  • File Storage NAS telah diaktifkan. Untuk informasi lebih lanjut, kunjungi Aktifkan NAS.

  • Virtual Private Cloud telah diaktifkan. Untuk informasi lebih lanjut, kunjungi Aktifkan VPC.

• Konfigurasikan peran layanan

  • AliyunFcDefaultRole: Peran default Function Compute. Anda harus mengonfigurasi peran ini saat membuat layanan. Tambahkan izin AliyunOSSFullAccess, AliyunFnFFullAccess, dan AliyunFCInvocationAccess ke peran ini untuk memanggil fungsi, mengelola alur kerja, dan mengelola OSS.

  • AliyunOSSEventNotificationRole: Peran default yang digunakan oleh OSS untuk mengirim notifikasi acara.

  • fnf-execution-default-role: Peran yang diperlukan untuk membuat dan mengelola alur kerja. Anda harus menambahkan izin AliyunFCInvocationAccess dan AliyunFnFFullAccess ke peran ini.

• Instal dan konfigurasikan Serverless Devs

  • Serverless Devs dan dependensi telah diinstal. Untuk informasi lebih lanjut, lihat Instal Serverless Devs dan Docker.

  • Serverless Devs telah dikonfigurasi. Untuk informasi lebih lanjut, lihat Konfigurasikan Serverless Devs.

Prosedur