：Android端

操作步驟

1. 下載並解壓ijkplayer源碼。下載地址，請參見ijkplayer。

2. 下載並解壓Native RTS SDK。下載地址，請參見發布日誌。

3. 修改ijk編譯指令碼。

   • 修改ijkplayer-android/init-android.sh，pull_fork的調用只保留armv7a和arm64。

   • 修改ijkplayer-android/config/module-lite.sh，使其支援PCM解碼（Native RTS SDK輸出為PCM資料）。

     # aliyun rts
     export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-decoder=pcm_s16be_planar"
     export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-decoder=pcm_s16le"
     export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-decoder=pcm_s16le_planar"

   • 修改ijkplayer-android/android/contrib/compile-ffmpeg.sh，FF_ACT_ARCHS_64隻保留armv7a和arm64。

     FF_ACT_ARCHS_64="armv7a arm64"

   • 修改ijkplayer-android/android/compile-ijk.sh，ACT_ABI_64隻保留armv7a和arm64。

     ACT_ABI_64="armv7a arm64"

4. ijkplayer整合Native RTS SDK作為外掛程式，ijkplayer整合Native RTS SDK有以下兩種方式：

   整合方式	描述	優點	缺點
   拓展FFmpeg	拓展ijk中FFmpeg的demuxer。	使用更加簡單，不需要根據ARTC的URL做邏輯區分。	需要重新編譯FFmpeg庫。
   拓展ijk	ijkplayer中添AVInputFormat。	不需要編譯FFmpeg。	ff_ffplay.c中需要添加部分邏輯代碼。

   方式一：拓展FFmpeg

   1. 複製Native RTS SDK中的rtsdec.c、ali_net_api.h、rts_api.h和rts_messages.h檔案至ijkplayer/android/contrib/ffmpeg-arm64/libavformat和ijkplayer/android/contrib/ffmpeg-armv7a/libavformat目錄下。

   2. 修改Makefile檔案並編譯rtsdec.c檔案。

      修改ijkplayer/android/contrib/ffmpeg-arm64/libavformat/Makefile和ijkplayer/android/contrib/ffmpeg-armv7a/libavformat/Makefile，並編譯rtsdec.c檔案。

      

   3. 修改allformats.c檔案。

      修改ijkplayer/android/contrib/ffmpeg-arm64/libavformat/allformats.c和ijkplayer/android/contrib/ffmpeg-armv7a/libavformat/allformats.c，預設支援ARTC協議。

      

          extern AVInputFormat ff_rtc_demuxer;
          av_register_input_format(&ff_rtc_demuxer);

   4. 編譯。

      添加Android NDK環境變數，並在ijkplayer/android/contrib目錄下執行./compile-ffmpeg.sh all運行該指令碼。編譯完成之後，檢查並確保ijkplayer/android/contrib/build目錄下有對應的FFmpeg編譯輸出檔案。

   5. 加入Native RTS SDK的動態庫。

      複製Native RTS SDK的動態庫至對應的ijkplayer/android/contrib/build/ffmpeg-arm64/output和ijkplayer/android/contrib/build/ffmpeg-armv7a/output目錄中。

      複製Native RTS SDK的標頭檔rts_api.h和rts_messages.h分別至ijkplayer/android/contrib/build/ffmpeg-arm64/output/include和ijkplayer/android/contrib/build/ffmpeg-armv7a/output/include目錄中。

   6. 引入Native RTS SDK的動態庫。

      修改ijkplayer/android/ijkplayer/ijkplayer-armv7a/src/main/jni/ffmpeg/Android.mk和ijkplayer/android/ijkplayer/ijkplayer-arm64/src/main/jni/ffmpeg/Android.mk檔案。

      include $(CLEAR_VARS)
      LOCAL_MODULE := rtssdk
      LOCAL_SRC_FILES := $(MY_APP_FFMPEG_OUTPUT_PATH)/libRtsSDK.so
      include $(PREBUILT_SHARED_LIBRARY)

   7. 修改ijkplayer/ijkmedia/ijkplayer/Android.mk檔案，使ijkplayer依賴Native RTS SDK動態庫。

   8. 在ff_ffplay.c中添加RTS邏輯。

      修改ijkplayer/ijkmedia/ijkplayer/ff_ffplay.c檔案，設定ARTC的AVInputFormat函數指標。

      

          extern AVInputFormat ff_rtc_demuxer;
          extern int artc_reload(AVFormatContext *ctx);
          extern void av_set_rts_demuxer_funcs(const struct rts_glue_funcs *funcs);
          extern void artc_set_rts_param(char* key, char* value);
          extern long long artc_get_state(AVFormatContext *ctx, int key);
      
          int version = 2;
          const struct rts_glue_funcs* rts_funcs = get_rts_funcs(version);
          // set to ffmpeg plugin
          av_set_rts_demuxer_funcs(rts_funcs);
          artc_set_rts_param((char*)"AutoReconnect", (char*)"false");

   9. 編譯。

      在ijkplayer/android目錄下執行./compile-ijk.sh all運行該指令碼。

   方式二：拓展ijk

   1. 加入Native RTS SDK的動態庫。

      複製Native RTS SDK的動態庫至對應的ijkplayer/android/contrib/build/ffmpeg-arm64/output和ijkplayer/android/contrib/build/ffmpeg-armv7a/output目錄中。

      複製Native RTS SDK的標頭檔rts_api.h和rts_messages.h分別至ijkplayer/android/contrib/build/ffmpeg-arm64/output/include和ijkplayer/android/contrib/build/ffmpeg-armv7a/output/include目錄中。

   2. 引入Native RTS SDK的動態庫。

      修改ijkplayer/android/ijkplayer/ijkplayer-armv7a/src/main/jni/ffmpeg/Android.mk和ijkplayer/android/ijkplayer/ijkplayer-arm64/src/main/jni/ffmpeg/Android.mk檔案。

      include $(CLEAR_VARS)
      LOCAL_MODULE := rtssdk
      LOCAL_SRC_FILES := $(MY_APP_FFMPEG_OUTPUT_PATH)/libRtsSDK.so
      include $(PREBUILT_SHARED_LIBRARY)

   3. 修改ijkplayer/ijkmedia/ijkplayer/Android.mk檔案，使ijkplayer依賴Native RTS SDK動態庫。

   4. 在ff_ffplay.c中添加RTS邏輯。

      修改ijkplayer/ijkmedia/ijkplayer/ff_ffplay.c檔案，設定ARTC的AVInputFormat函數指標。

      

      if(strncmp(is->filename, "artc://", 7) == 0) {
              extern AVInputFormat ff_rtc_demuxer;
              extern int artc_reload(AVFormatContext *ctx);
              extern void av_set_rts_demuxer_funcs(const struct rts_glue_funcs *funcs);
              extern void artc_set_rts_param(char* key, char* value);
              extern long long artc_get_state(AVFormatContext *ctx, int key);
      
              int version = 2;
              const struct rts_glue_funcs* rts_funcs = get_rts_funcs(version);
              // set to ffmpeg plugin
              av_set_rts_demuxer_funcs(rts_funcs);
              artc_set_rts_param((char*)"AutoReconnect", (char*)"false");
              is->iformat = &ff_rtc_demuxer;
          }
          else {
              if(ffp->iformat_name)
                  is->iformat = av_find_input_format(ffp->iformat_name);
          }

   5. 複製Native RTS SDK中的rtsdec.c檔案至ijkplayer/ijkmedia/ijkplayer目錄下，並修改該目錄中android.mk檔案添加rtsdec.c檔案的編譯描述。

      LOCAL_SRC_FILES += rtsdec.c

5. 使用者工程整合ijk。

   1. 複製Native RTS SDK中的RtsNetSDK.jar檔案至工程中。

   2. 在使用RTS播放的Activity內引入Native RTS SDK動態庫。

      static {
          System.loadLibrary("RtsSDK");
      }

   3. 匯入ijkplayer-arm64、ijkplayer-armv7a、ijkplayer-java模組。

      

6. 調用ijkplayer介面實現超低延時直播功能。

   • 建立ijkplayer

     mIjkPlayer = new IjkMediaPlayer();

   • 設定回調

     mIjkPlayer.setOnPreparedListener(new IMediaPlayer.OnPreparedListener() {
         @Override
         public void onPrepared(IMediaPlayer iMediaPlayer) {
             
         }
     });
     
     mIjkPlayer.setOnInfoListener(new IMediaPlayer.OnInfoListener() {
         @Override
         public boolean onInfo(IMediaPlayer iMediaPlayer, int arg1, int arg2) {
             
     });
     
     mIjkPlayer.setOnVideoSizeChangedListener(new IMediaPlayer.OnVideoSizeChangedListener() {
         @Override
         public void onVideoSizeChanged(IMediaPlayer iMediaPlayer, int width, int height, int sarNum, int sarDen) {
            
         }
     });
     
     mIjkPlayer.setOnErrorListener(new IMediaPlayer.OnErrorListener() {
         @Override
         public boolean onError(IMediaPlayer iMediaPlayer, int framework_err, int impl_err) {
             
             return false;
         }
     });

   • 設定顯示視窗

     mIjkPlayer.setSurface(surface);

   • 設定播放源

     mIjkPlayer.setDataSource("artc://<播流地址>");

   • 狀態控制

     public void prepare() {
         if(mIjkPlayer != null){
             mIjkPlayer.prepareAsync();
         }
     }
     
     @Override
     public void start() {
         if(mIjkPlayer != null){
             mIjkPlayer.start();
         }
     }
     
     public void stop() {
         if(mIjkPlayer != null){
             mIjkPlayer.stop();
         }
     }
     public void release() {
         if(mIjkPlayer != null){
             mIjkPlayer.release();
         }
     }

監聽RTS事件

• ijkplayer監聽Native RTS SDK的訊息回調

  開啟ijkplayer/android/ijkplayer專案。

  1. 修改ff_ffplay.c檔案，在static int audio_open(FFPlayer *opaque, int64_t wanted_channel_layout, int wanted_nb_channels, int wanted_sample_rate, struct AudioParams *audio_hw_params){} 方法後面插入如下代碼塊。

     extern int artcDemuxerMessage(struct AVFormatContext *s, int type, void *data, size_t data_size);
     //aliyun rts:receive artc message
     int onArtcDemuxerMessage(struct AVFormatContext *s, int type, void *data, size_t data_size)
     {
         return artcDemuxerMessage(s, type, data, data_size);
     }
     
     int artcDemuxerMessage(struct AVFormatContext *s, int type, void *data, size_t data_size)
     {
         //aliyun rts:send message to app
         FFPlayer *ffp = (FFPlayer *)s->opaque;
         const char *data_msg = (const char *)data;
         ffp_notify_msg4(ffp,FFP_MSG_ARTC_DIRECTCOMPONENTMSG,type,0,data_msg,data_size);
         return 0;
     }

  2. 修改ff_ffplay.c檔案，在static int is_realtime(AVFormatContext *s){} 方法中插入如下RTS代碼塊。

     static int is_realtime(AVFormatContext *s)
     {
         if(   !strcmp(s->iformat->name, "rtp")
            || !strcmp(s->iformat->name, "rtsp")
            || !strcmp(s->iformat->name, "sdp")
            // ***rts代碼塊 begin***
            || !strcmp(s->iformat->name, "artc")
            // ***rts代碼塊 end***
         )
             return 1;
     
         if(s->pb && (   !strncmp(s->filename, "rtp:", 4)
                      || !strncmp(s->filename, "udp:", 4)
                     )
         )
             return 1;
         return 0;
      }                        

  3. 修改ff_ffplay.c檔案，在static int read_thread(void *arg){} 方法插入入如下RTS代碼塊。

     static int read_thread(void *arg)
     {
       ......
       ic = avformat_alloc_context();
       if (!ic) {
         av_log(NULL, AV_LOG_FATAL, "Could not allocate context.\n");
         ret = AVERROR(ENOMEM);
         goto fail;
       }
     
       // ***rts代碼塊 begin***
       ic->opaque = ffp;
       ic->control_message_cb = onArtcDemuxerMessage;
       // ***rts代碼塊 end***
     
       ......
       if (ffp->skip_calc_frame_rate) {
          av_dict_set_int(&ic->metadata, "skip-calc-frame-rate", ffp->skip_calc_frame_rate, 0);
          av_dict_set_int(&ffp->format_opts, "skip-calc-frame-rate", ffp->skip_calc_frame_rate, 0);
       }
     
       // ***rts代碼塊 begin***
       if(strncmp(is->filename, "artc://", 7) == 0) {
          extern AVInputFormat ff_rtc_demuxer;
          is->iformat = &ff_rtc_demuxer;
       } else {
          if(ffp->iformat_name)
            is->iformat = av_find_input_format(ffp->iformat_name);
        }
       // ***rts代碼塊 end***
       ......
       pkt->flags = 0;
       // ***rts代碼塊 begin***
       if(strncmp(is->filename, "artc://", 7) == 0) {
           bool videoExist = is->video_stream >= 0;
         bool audioExist = is->audio_stream >= 0;
         // av_log(NULL, AV_LOG_INFO, "videoDuration %lld audioDuration %lld rate %f videoframeQue %d audioFrameque %d\n",
         // is->videoq.duration, is->audioq.duration, ffp->pf_playback_rate,
         // frame_queue_nb_remaining(&is->pictq), frame_queue_nb_remaining(&is->sampq));
         if(!videoExist) {
            if(is->audioq.duration > 300 ) { // accelerate
                if(ffp->pf_playback_rate <= 1.0) {
                    ffp->pf_playback_rate = 1.3;
                    ffp->pf_playback_rate_changed = 1;
                    av_log(NULL, AV_LOG_INFO, "aliyun rts set rate to %f\n", ffp->pf_playback_rate);
                }
            }
            else if(is->audioq.duration < 200) { // restore speed
                if(ffp->pf_playback_rate > 1.0) {
                    ffp->pf_playback_rate = 1.0;
                    ffp->pf_playback_rate_changed = 1;
                    av_log(NULL, AV_LOG_INFO, "aliyun rts restore rate 1.0\n");
                 }
            }
         }
         else if((!videoExist || (videoExist && is->videoq.duration > 300)) && (!audioExist || (audioExist && is->audioq.duration > 300))) {
            if(ffp->pf_playback_rate <= 1) {
                ffp->pf_playback_rate = 1.3;
                ffp->pf_playback_rate_changed = 1;
                av_log(NULL, AV_LOG_INFO, "aliyun rts set rate 1.1\n");
            }
         } else if((videoExist && is->videoq.duration <= 100) ||  (audioExist && is->audioq.duration <= 100)){
            if(ffp->pf_playback_rate > 1) {
                ffp->pf_playback_rate = 1;
                ffp->pf_playback_rate_changed = 1;
                av_log(NULL, AV_LOG_INFO, "aliyun rts set rate 1\n");
             }
         }
       }
       // ***rts代碼塊 end***
       ......
     }

  4. 修改ff_ffmsg.h檔案，增加RTS訊息的介面聲明。

     #define FFP_MSG_ARTC_DIRECTCOMPONENTMSG     3000

  5. 將RTS訊息發送到上層。

     • 修改ijkplayer_android_def.h增加RTS訊息枚舉類型。

       enum media_event_type {
           //其他代碼省略
           MEDIA_ARTC_MESSAGE      = 3000,     // aliyun rts : msg info key
       };

     • 修改ijkplayer_jni.c，將RTS訊息發送給上層。

       static void message_loop_n(JNIEnv *env, IjkMediaPlayer *mp)
       {
           //... 其他代碼省略
       
           while (1) {
               switch (msg.what) {
                   //aliyun rts: post artc event
                   case FFP_MSG_ARTC_DIRECTCOMPONENTMSG:
                       if (msg.obj) {
                           const char * result = (const char *)msg.obj;
                           ALOGE("aliyun rts : FFP_MSG_ARTC_DIRECTCOMPONENTMSG = %d , %s\n", msg.arg1,result);
                           jstring data_msg = (*env)->NewStringUTF(env, result);
                           post_event2(env, weak_thiz, MEDIA_ARTC_MESSAGE, msg.arg1, 0, data_msg);
                           J4A_DeleteLocalRef__p(env, &data_msg);
                       }
                       else {
                           post_event2(env, weak_thiz, MEDIA_ARTC_MESSAGE, 0, 0, NULL);
                       }
       
                       break;
               }
           }
       }

     • 修改IjkMediaPlayer.java，接收RTS訊息。

       private static class EventHandler extends Handler {
       
               @Override
               public void handleMessage(Message msg) {
                   IjkMediaPlayer player = mWeakPlayer.get();
                   if (player == null || player.mNativeMediaPlayer == 0) {
                       DebugLog.w(TAG,
                               "IjkMediaPlayer went away with unhandled events");
                       return;
                   }
       
                   switch (msg.what) {
                       //aliyun artc:post event
                       case MEDIA_ARTC_MESSAGE:
                           if(msg.arg1 == FFP_ARTC_CONNECT_LOST){
                               player.notifyOnARTCMessage("NetWorkDisconnect",0,"");
                           }else if(msg.arg1 == FFP_ARTC_RECOVERED){
                               player.notifyOnARTCMessage("NetWorkRetrySuccess",0,"");
                           }else{
                               if(msg.obj == null){
                                   player.notifyOnARTCMessage("DirectComponentMSG",0, "");
                               }else{
                                   String result = (String) msg.obj;
                                   result = result.replaceAll("\"","");
                                   player.mAliyunRTSMsgBuilder = new StringBuilder("{\"content\":");
                                   player.mAliyunRTSMsgBuilder.append("\"").append(result).append("\"}");
                                   player.notifyOnARTCMessage("DirectComponentMSG",0, (String) result);
                               }
                           }
                           break;
                   }
               }
           }

       在IMediaPlayer.java增加RTS訊息回調。

       //aliyun rts:artc message callback
           interface OnARTCMessageListener{
               void onMessage(String name,int externValue,String extraMsg);
           }

       在AbstractMediaPlayer.java中增加監聽設定。

       //aliyun rts : set artc message listener
           public final void setOnARTCMessageListener(OnARTCMessageListener listener){
               this.mOnARTCMessageListener = listener;
           }
       
           //aliyun rts : call back
           protected final void notifyOnARTCMessage(String name,int externValue,String extraMsg){
               if(mOnARTCMessageListener != null){
                   mOnARTCMessageListener.onMessage(name,externValue,extraMsg);
               }
           }

       執行./compile-ijk.sh重新編譯即可。

• ijkplayer增加執行Native RTS SDK的重試方法

  1. 修改ff_ffplay.h檔案，增加rts_reload_flag變數的定義。

     int       rts_reload_flag;

  2. 修改ff_ffplay.c檔案，在static int audio_open(FFPlayer *opaque, int64_t wanted_channel_layout, int wanted_nb_channels, int wanted_sample_rate, struct AudioParams *audio_hw_params){} 方法後面插入如下方法塊。

     extern int artc_reload(AVFormatContext *ctx);
     
     void ffp_rts_reload(FFPlayer *ffp){
        if(rts_reload_flag == 0)
        {
           rts_reload_flag = 1;
        }
     }

  3. 修改ff_ffplay.c檔案，在static int read_thread(void *arg){} 方法插入入如下RTS代碼塊。

     static int read_thread(void *arg)
     {
          ......
     #ifdef FFP_MERGE
        if (is->paused != is->last_paused) {
           is->last_paused = is->paused;
           if (is->paused)
              is->read_pause_return = av_read_pause(ic);
            else
               av_read_play(ic);
        }
     #endif
        // ***rts代碼塊 begin***
        if(rts_reload_flag){
             rts_reload_flag = 0;
             av_log(ffp, AV_LOG_ERROR, "param  == ffp_rts_reload\n");
             VideoState *is = ffp->is;
             AVFormatContext *ic = is->ic;
             artc_reload(ic);
         }
        // ***rts代碼塊 end***
        ......
     }

  4. 修改ijkplayer.h檔案，增加ijkmp_rts_reload方法定義。

     void            ijkmp_rts_reload(IjkMediaPlayer *mp);

  5. 修改ijkplayer.c檔案，實現ijkmp_rts_reload方法。

     void ijkmp_rts_reload(IjkMediaPlayer *mp)
     {
         ffp_rts_reload(mp->ffplayer);
     }

  6. 上層增加rtsReload介面。

     • 修改ijkplayer_jni.c增加reload介面。

       //aliyun rts : reload native
       static void
       IjkMediaPlayer_reload(JNIEnv *env,jobject thiz)
       {
           IjkMediaPlayer *mp = jni_get_media_player(env,thiz);
           ijkmp_rts_reload(mp);
       LABEL_RETURN:
           ijkmp_dec_ref_p(&mp);
       }
       
       
       static JNINativeMethod g_methods[] = {
           //aliyun rts: reload
           { "_reload",                "()V",      (void *) IjkMediaPlayer_reload },
       }

     • 修改IMediaPlayer.java檔案，增加reload介面。

       //aliyun rts: reload
           void reload();

     • 修改IjkMediaPlayer.java，調用native reload。

       //aliyun rts : native method
           private native void _reload();
       
           @Override
           public void reload() {
               _reload();
           }

• 調用監聽RTS訊息回調方法實現直播降級

  • 監聽RTS訊息回調。

    mIjkPlayer.setOnARTCMessageListener(new IMediaPlayer.OnARTCMessageListener() {
        @Override
        public void onMessage(String name, int externValue, String extraMsg) {}
    });

  • 監聽RTS訊息回調方法中實現直播降級邏輯。

    直播降級是將首碼為artc://的播放器url源字串直接修改為rtmp://的首碼或者改為http://xxxx.flv的形式，然後更新播放器UrlSource，並開始播放的策略。

    if (SOURCE_URL.startsWith("artc://")) {
        mIjkPlayer.stop();//停止
        mIjkPlayer.reset();//重設，ijk 複用時，不重設會 crash
        mIjkPlayer.setDataSource("http://xxx.flv");
        mIjkPlayer.prepareAsync();
    }

    啟播或者直播過程中，播放器事件回調收到播放組件中透傳輸出的訊息時，解析播放器事件說明JSON字串，得到的code是RtsSDK中的message。收到E_DNS_FAIL、E_AUTH_FAIL、E_CONN_TIMEOUT、E_SUB_TIMEOUT、E_SUB_NO_STREAM時，需要直播降級；收到E_STREAM_BROKEN時，需要先重新播放一次，然後如果之後再次收到時就直播降級；收到E_RECV_STOP_SIGNAL時，直接停止播放，不需要直播降級。

    //自訂 Rts 資訊枚舉類
    public enum RtsError {
     /**
      * DNS 解析失敗
      */
     E_DNS_FAIL(20001),
     /**
      * 鑒權失敗
      */
     E_AUTH_FAIL(20002),
     /**
      * 建聯信令逾時
      */
     E_CONN_TIMEOUT(20011),
     /**
      * 訂閱信令返回錯誤，或者逾時。
      */
     E_SUB_TIMEOUT(20012),
     /**
      * 訂閱流不存在
      */
     E_SUB_NO_STREAM(20013),
     /**
      * 媒體逾時，沒有收到音頻包和視頻包
      */
     E_STREAM_BROKEN(20052),
     /**
      * 收到CDN的stop信令
      */
     E_RECV_STOP_SIGNAL(20061);
    
     private int code;
    
     RtsError(int code) {
      this.code = code;
     }
    
     public int getCode() {
      return code;
     }
    
     public void setCode(int code) {
      this.code = code;
     }
    }
    
    
    mIjkPlayer.setOnARTCMessageListener(new IMediaPlayer.OnARTCMessageListener() {
        @Override
        public void onMessage(String name, int externValue, String msg) {
            if("DirectComponentMSG".equals(name)){
                if (msg.contains("code=" + RtsError.E_DNS_FAIL.getCode()) || msg.contains("code=" + RtsError.E_AUTH_FAIL.getCode())
                    || msg.contains("code=" + RtsError.E_CONN_TIMEOUT.getCode()) || msg.contains("code=" + RtsError.E_SUB_TIMEOUT.getCode())
                    || msg.contains("code=" + RtsError.E_SUB_NO_STREAM.getCode()) || msg.contains("code=" + RtsError.E_STREAM_BROKEN.getCode())
                    || msg.contains("code=" + RtsError.E_RECV_STOP_SIGNAL.getCode())) {
                    //TODO 執行降級邏輯
                }
            }
        }
    });