Function Compute:Membangun Sistem Pemrosesan Audio dan Video yang Elastis serta Highly Available Menggunakan Arsitektur Serverless

Sistem pemrosesan video sederhana

Prasyarat

• Function Compute: Aktifkan Function Compute.

• Object Storage ServiceOSS: Buat bucket di Konsol OSS.

Prosedur

1. Buat layanan.

   1. Masuk ke Konsol Function Compute. Di panel navigasi kiri, klik Services & Functions.

   2. Di bilah menu atas, pilih wilayah. Di halaman Services, klik Create Service.

   3. Di panel Create Service, masukkan nama dan deskripsi layanan. Konfigurasikan opsi sesuai kebutuhan. Klik OK.

      Topik ini mengatur peran layanan ke AliyunFCDefaultRole dan menambahkan kebijakan izin AliyunOSSFullAccess.

      Untuk konfigurasi layanan terperinci, lihat Buat layanan.

2. Buat fungsi.

   1. Di halaman Function Management, klik Create Function.

   2. Di halaman Create Function, pilih metode pembuatan. Konfigurasikan opsi berikut. Klik Create.

      • Metode pembuatan: Create with built-in runtime.

      • Basic settings: Konfigurasikan informasi dasar fungsi, termasuk Function Name dan Handler Type. Atur Handler Type ke Event-driven handler.

      • Function code: Pilih Python 3.9 sebagai runtime. Pilih Use sample code sebagai metode unggah kode.

      • Advanced configuration: Karena pemrosesan video memakan waktu dan ukuran file bervariasi, topik ini memilih vCPU count = 4, Memory = 8 GB, Temporary disk size = 10 GB, dan Timeout = 7200 detik.

      Gunakan nilai default untuk opsi lainnya. Untuk konfigurasi fungsi terperinci, lihat Buat fungsi.

3. Buat pemicu OSS.

   1. Di halaman detail fungsi, klik tab Triggers. Dari daftar drop-down Version or alias, pilih versi atau alias untuk pemicu. Klik Create Trigger.

   2. Di panel Create Trigger, masukkan informasi yang diperlukan. Klik OK.

      Item konfigurasi	Tindakan	Contoh dalam topik ini
      Trigger type	Pilih Object Storage OSS.	Object Storage OSS
      Name	Masukkan nama pemicu kustom.	oss-trigger
      Version or alias	Default-nya adalah LATEST. Untuk membuat pemicu untuk versi atau alias lain, pilih terlebih dahulu dari daftar drop-down Version or alias di halaman detail fungsi. Untuk informasi selengkapnya, lihat Kelola versi dan Kelola alias.	LATEST
      Bucket name	Pilih bucket OSS yang sudah ada.	testbucket
      Object prefix	Masukkan awalan untuk mencocokkan nama objek. Kami merekomendasikan menetapkan awalan dan akhiran untuk menghindari loop event bersarang dan biaya tambahan. Selain itu, untuk pemicu dalam bucket yang sama dengan jenis event identik, awalan dan akhiran tidak boleh tumpang tindih. Untuk detailnya, lihat Aturan pemicu OSS. Penting Jika awalan file dimulai dengan /, pemicu OSS akan gagal memicu.	source
      File Extension	Masukkan akhiran untuk mencocokkan nama objek. Kami sangat merekomendasikan menetapkan awalan dan akhiran untuk menghindari loop event bersarang dan biaya tambahan. Selain itu, untuk pemicu dalam bucket yang sama dengan jenis event identik, awalan dan akhiran tidak boleh tumpang tindih. Untuk detailnya, lihat Aturan pemicu OSS.	mp4
      Trigger events	Pilih satu atau beberapa event pemicu. Untuk informasi tentang jenis event untuk Object Storage Service (OSS), lihat Definisi event OSS.	oss:ObjectCreated:PutObject, oss:ObjectCreated:PostObject, oss:ObjectCreated:CompleteMultipartUpload
      Role name	Pilih AliyunOSSEventNotificationRole. Catatan Jika ini adalah pemicu pertama Anda dari jenis ini, klik OK. Di kotak dialog, pilih Authorize now.	AliyunOSSEventNotificationRole

4. Tulis kode fungsi.

   1. Di halaman detail fungsi, klik tab Function Code. Tulis kode di editor.

      Fungsi ini mengonversi video MP4 ke format FLV dan menyimpan file FLV di direktori dest bucket OSS. Contoh ini menggunakan Python. Berikut kode contohnya.

      # -*- coding: utf-8 -*-
      import logging
      import oss2
      import os
      import json
      import subprocess
      import shutil
      
      logging.getLogger("oss2.api").setLevel(logging.ERROR)
      logging.getLogger("oss2.auth").setLevel(logging.ERROR)
      LOGGER = logging.getLogger()
      
      
      def get_fileNameExt(filename):
          (_, tempfilename) = os.path.split(filename)
          (shortname, extension) = os.path.splitext(tempfilename)
          return shortname, extension
      
      
      def handler(event, context):
          LOGGER.info(event)
          evt = json.loads(event)
          evt = evt["events"]
          oss_bucket_name = evt[0]["oss"]["bucket"]["name"]
          object_key = evt[0]["oss"]["object"]["key"]
          
          output_dir = "dest"
          dst_format = "flv"
          shortname, _ = get_fileNameExt(object_key)
          creds = context.credentials
          auth = oss2.StsAuth(creds.accessKeyId,
                              creds.accessKeySecret, creds.securityToken)
          oss_client = oss2.Bucket(auth, 'oss-%s-internal.aliyuncs.com' %
                                   context.region, oss_bucket_name)
      
          exist = oss_client.object_exists(object_key)
          if not exist:
              raise Exception("object {} is not exist".format(object_key))
      
          input_path = oss_client.sign_url('GET', object_key, 6 * 3600)
          # penanganan khusus m3u8
          rid = context.request_id
          if dst_format == "m3u8":
              return handle_m3u8(rid, oss_client, input_path, shortname, output_dir)
          else:
              return handle_common(rid, oss_client, input_path, shortname, output_dir, dst_format)
      
      
      def handle_m3u8(request_id, oss_client, input_path, shortname, output_dir):
          ts_dir = '/tmp/ts'
          if os.path.exists(ts_dir):
              shutil.rmtree(ts_dir)
          os.mkdir(ts_dir)
          transcoded_filepath = os.path.join('/tmp', shortname + '.ts')
          split_transcoded_filepath = os.path.join(
              ts_dir, shortname + '_%03d.ts')
          cmd1 = ['ffmpeg', '-y', '-i', input_path, '-c:v',
                  'libx264', transcoded_filepath]
      
          cmd2 = ['ffmpeg', '-y', '-i', transcoded_filepath, '-c', 'copy', '-map',  '0',  '-f', 'segment',
                  '-segment_list', os.path.join(ts_dir, 'playlist.m3u8'), '-segment_time', '10', split_transcoded_filepath]
      
          try:
              subprocess.run(
                  cmd1, stdout=subprocess.PIPE, stderr=subprocess.PIPE, check=True)
      
              subprocess.run(
                  cmd2, stdout=subprocess.PIPE, stderr=subprocess.PIPE, check=True)
      
              for filename in os.listdir(ts_dir):
                  filepath = os.path.join(ts_dir, filename)
                  filekey = os.path.join(output_dir, shortname, filename)
                  oss_client.put_object_from_file(filekey, filepath)
                  os.remove(filepath)
                  print("Uploaded {} to {}".format(filepath, filekey))
      
          except subprocess.CalledProcessError as exc:
              # jika transcoding gagal, picu pemanggilan fungsi dest-fail
              raise Exception(request_id + " transcode failure, detail: " + str(exc))
      
          finally:
              if os.path.exists(ts_dir):
                  shutil.rmtree(ts_dir)
      
              # hapus file ts
              if os.path.exists(transcoded_filepath):
                  os.remove(transcoded_filepath)
      
          return {}
      
      
      def handle_common(request_id, oss_client, input_path, shortname, output_dir, dst_format):
          transcoded_filepath = os.path.join('/tmp', shortname + '.' + dst_format)
          if os.path.exists(transcoded_filepath):
              os.remove(transcoded_filepath)
          cmd = ["ffmpeg", "-y", "-i", input_path, transcoded_filepath]
          try:
              subprocess.run(
                  cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, check=True)
      
              oss_client.put_object_from_file(
                  os.path.join(output_dir, shortname + '.' + dst_format), transcoded_filepath)
          except subprocess.CalledProcessError as exc:
              # jika transcoding gagal, picu pemanggilan fungsi dest-fail
              raise Exception(request_id + " transcode failure, detail: " + str(exc))
          finally:
              if os.path.exists(transcoded_filepath):
                  os.remove(transcoded_filepath)
          return {}

   2. Klik Deploy code.

5. Uji kode fungsi.

   Anda dapat mensimulasikan parameter event OSS menggunakan parameter input fungsi untuk memverifikasi kebenarannya. Dalam praktiknya, fungsi akan dipicu secara otomatis ketika event OSS terjadi.

   1. Di halaman detail fungsi, klik tab Function Code, lalu klik ikon di sebelah kanan Test Function. Dari daftar drop-down, pilih Configure Test Parameters.

   2. Di panel Configure test parameters, pilih Create new test event atau Edit existing test event. Masukkan Event name dan konten event. Klik OK.

      Konten event yang digunakan dalam topik ini ditunjukkan di bawah ini. Untuk detail parameter event, lihat Langkah 2: Konfigurasikan parameter input fungsi.

      {
          "events": [
              {
                  "eventName": "oss:ObjectCreated:CompleteMultipartUpload",
                  "eventSource": "acs:oss",
                  "eventTime": "2022-08-13T06:45:43.000Z",
                  "eventVersion": "1.0",
                  "oss": {
                      "bucket": {
                          "arn": "acs:oss:cn-hangzhou:123456789:testbucket",
                          "name": "testbucket",
                          "ownerIdentity": "164901546557****"
                      },
                      "object": {
                          "deltaSize": 122539,
                          "eTag": "688A7BF4F233DC9C88A80BF985AB****",
                          "key": "source/a.mp4",
                          "size": 122539
                      },
                      "ossSchemaVersion": "1.0",
                      "ruleId": "9adac8e253828f4f7c0466d941fa3db81161****"
                  },
                  "region": "cn-hangzhou",
                  "requestParameters": {
                      "sourceIPAddress": "140.205.XX.XX"
                  },
                  "responseElements": {
                      "requestId": "58F9FF2D3DF792092E12044C"
                  },
                  "userIdentity": {
                      "principalId": "164901546557****"
                  }
              }
          ]
      }

   3. Klik Test Function. Lihat hasilnya di tab Function Code.

Sistem alur kerja pemrosesan video

Prasyarat

• Aktifkan layanan dan buat bucket

  • Function Compute: Aktifkan Function Compute.

  • Object Storage ServiceOSS: Buat bucket di Konsol OSS.

  • Serverless Workflow: Aktifkan Serverless Workflow.

  • File Storage NAS: Aktifkan Apsara File Storage NAS.

  • Virtual Private Cloud: Aktifkan Virtual Private Cloud.

• Konfigurasikan peran layanan

  • AliyunFcDefaultRole: Tetapkan peran ini saat membuat layanan. Lampirkan izin AliyunOSSFullAccess, AliyunFnFFullAccess, dan AliyunFCInvocationAccess untuk memanggil fungsi, mengelola alur kerja, dan mengelola OSS.

  • AliyunOSSEventNotificationRole: OSS menggunakan peran ini secara default untuk mengirim notifikasi event.

  • fnf-execution-default-role: Diperlukan untuk membuat dan mengelola alur kerja. Lampirkan izin AliyunFCInvocationAccess dan AliyunFnFFullAccess.

• Instal dan konfigurasikan Serverless Devs

  • Instal Serverless Devs dan dependensi

  • Konfigurasikan Serverless Devs

Prosedur