AI 助理
备案控制台
开发者社区 视觉智能 文章 正文

Android平台轻量级RTSP服务模块二次封装版调用说明

2024-08-14 16
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
视觉智能开放平台，分割抠图1万点
视觉智能开放平台，视频资源包5000点
视觉智能开放平台，图像资源包5000点
简介： 本文介绍了Android平台上轻量级RTSP服务模块的二次封装实践，旨在简化开发流程，让开发者能更专注于业务逻辑。通过`LibPublisherWrapper`类提供的API，可在应用中轻松初始化RTSP服务、配置视频参数（如分辨率、编码类型）、启动与停止RTSP服务及流发布，并获取RTSP会话数量。此外，还展示了如何处理音频和视频数据的采集与推送。最后，文章提供了从启动服务到销毁资源的完整示例，帮助开发者快速集成实时流媒体功能。

技术背景

在前面的blog，我们发布了Android平台轻量级RTSP服务模块的技术对接说明，好多开发者希望，更黑盒的对接轻量级RTSP服务这块，专注于自身业务逻辑。为此，我们针对Android平台轻量级RTSP服务模块，做了更进一步的封装（LibPublisherWrapper.java）。

技术对接

本文还是以大牛直播SDK Android平台Camera2Demo为例，如果需要测试轻量级RTSP服务模块，分两步：首先启动RTSP服务，RTSP服务启动后，发布RTSP即可，在此之前，可选择设置视频分辨率、软硬编码类型，音频编码类型等，如需关闭轻量级RTSP服务，先停止发布RTSP流，再停止RTSP服务。

image.gif

onCreate()的时候，调用LibPublisherWrapper的initialize_sdk()：

/*
 * MainActivity.java
 * Author: daniusdk.com
 */
@Override
protected void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    setContentView(R.layout.activity_main);
    
    ...
    context_ = this.getApplicationContext();
    
    libPublisher = new SmartPublisherJniV2();
    LibPublisherWrapper.RTSPServer.initialize_sdk(libPublisher, context_);
}

image.gif

对应封装代码如下：

public static boolean initialize_sdk(SmartPublisherJniV2 lib_publisher, android.content.Context context) {
    return sdk_context_.initialize(lib_publisher, context);
}

image.gif

initalize()具体实现如下：

/*
 * LibPublisherWrapper.java
 * Author: daniusdk.com
 */
public boolean initialize(SmartPublisherJniV2 lib_publisher, android.content.Context context) {
    if (initialized_)
        return initialized_result_;
    if (null == lib_publisher)
        return false;
    if (null == context)
        return false;
    synchronized (this) {
        if (initialized_)
            return initialized_result_;
        try {
            int sdk_ret = lib_publisher.InitRtspServer(context);
            if (0 == sdk_ret)
                initialized_result_ = true;
            else {
                initialized_result_ = false;
                Log.e(TAG, "call sdk InitRtspServer failed, ret:" + sdk_ret);
            }
        } catch (Exception e) {
            initialized_result_ = false;
            Log.e(TAG, "call sdk InitRtspServer Exception:", e);
        }
        initialized_ = true;
        return initialized_result_;
    }
}

image.gif

启动、停止RTSP服务：

//启动/停止RTSP服务
class ButtonRtspServiceListener implements View.OnClickListener {
    public void onClick(View v) {
        if (!rtsp_server_.empty()) {
            rtsp_server_.reset();
            btnRtspService.setText("启动RTSP服务");
            btnRtspPublisher.setEnabled(false);
            return;
        }
        Log.i(TAG, "onClick start rtsp service..");
        int port = 8554;
        String user_name = null;
        String password = null;
        LibPublisherWrapper.RTSPServer.Handle server_handle = LibPublisherWrapper.RTSPServer.create_and_start_server(libPublisher,
                port, user_name, password);
        if (null == server_handle) {
            Log.e(TAG, "启动rtsp server失败! 请检查设置的端口是否被占用!");
            return;
        }
        rtsp_server_.reset(server_handle);
        btnRtspService.setText("停止RTSP服务");
        btnRtspPublisher.setEnabled(true);
    }
}

image.gif

发布、停止RTSP流：

//发布/停止RTSP流
class ButtonRtspPublisherListener implements View.OnClickListener {
    public void onClick(View v) {
        if (stream_publisher_.is_rtsp_publishing()) {
            stopRtspPublisher();
            btnRtspPublisher.setText("发布RTSP流");
            btnGetRtspSessionNumbers.setEnabled(false);
            btnRtspService.setEnabled(true);
            return;
        }
        Log.i(TAG, "onClick start rtsp publisher..");
        InitAndSetConfig();
        String rtsp_stream_name = "stream1";
        stream_publisher_.SetRtspStreamName(rtsp_stream_name);
        stream_publisher_.ClearRtspStreamServer();
        stream_publisher_.AddRtspStreamServer(rtsp_server_.get_native());
        if (!stream_publisher_.StartRtspStream()) {
            stream_publisher_.try_release();
            Log.e(TAG, "调用发布rtsp流接口失败!");
            return;
        }
        startAudioRecorder();
        startLayerPostThread();
        btnRtspPublisher.setText("停止RTSP流");
        btnGetRtspSessionNumbers.setEnabled(true);
        btnRtspService.setEnabled(false);
    }
}

image.gif

stopRtspPublisher()实现如下：

//停止发布RTSP流
private void stopRtspPublisher() {
    stream_publisher_.StopRtspStream();
    stream_publisher_.try_release();
    if (!stream_publisher_.is_publishing())
        stopAudioRecorder();
}

image.gif

其中，InitAndSetConfig()实现如下，通过调研SmartPublisherOpen()接口，生成推送实例句柄。

/*
 * MainActivity.java
 * Author: daniusdk.com
 */
private void InitAndSetConfig() {
    if (null == libPublisher)
        return;
    if (!stream_publisher_.empty())
        return;
    Log.i(TAG, "InitAndSetConfig video width: " + video_width_ + ", height" + video_height_ + " imageRotationDegree:" + cameraImageRotationDegree_);
    int audio_opt = 1;
    long handle = libPublisher.SmartPublisherOpen(context_, audio_opt, 3,  video_width_, video_height_);
    if (0==handle) {
        Log.e(TAG, "sdk open failed!");
        return;
    }
    Log.i(TAG, "publisherHandle=" + handle);
    int fps = 25;
    int gop = fps * 3;
    initialize_publisher(libPublisher, handle, video_width_, video_height_, fps, gop);
    stream_publisher_.set(libPublisher, handle);
}

image.gif

对应的initialize_publisher()实现如下，设置软硬编码、帧率、关键帧间隔等。

private boolean initialize_publisher(SmartPublisherJniV2 lib_publisher, long handle, int width, int height, int fps, int gop) {
    if (null == lib_publisher) {
        Log.e(TAG, "initialize_publisher lib_publisher is null");
        return false;
    }
    if (0 == handle) {
        Log.e(TAG, "initialize_publisher handle is 0");
        return false;
    }
    if (videoEncodeType == 1) {
        int kbps = LibPublisherWrapper.estimate_video_hardware_kbps(width, height, fps, true);
        Log.i(TAG, "h264HWKbps: " + kbps);
        int isSupportH264HWEncoder = lib_publisher.SetSmartPublisherVideoHWEncoder(handle, kbps);
        if (isSupportH264HWEncoder == 0) {
            lib_publisher.SetNativeMediaNDK(handle, 0);
            lib_publisher.SetVideoHWEncoderBitrateMode(handle, 1); // 0:CQ, 1:VBR, 2:CBR
            lib_publisher.SetVideoHWEncoderQuality(handle, 39);
            lib_publisher.SetAVCHWEncoderProfile(handle, 0x08); // 0x01: Baseline, 0x02: Main, 0x08: High
            // lib_publisher.SetAVCHWEncoderLevel(handle, 0x200); // Level 3.1
            // lib_publisher.SetAVCHWEncoderLevel(handle, 0x400); // Level 3.2
            // lib_publisher.SetAVCHWEncoderLevel(handle, 0x800); // Level 4
            lib_publisher.SetAVCHWEncoderLevel(handle, 0x1000); // Level 4.1 多数情况下,这个够用了
            //lib_publisher.SetAVCHWEncoderLevel(handle, 0x2000); // Level 4.2
            // lib_publisher.SetVideoHWEncoderMaxBitrate(handle, ((long)h264HWKbps)*1300);
            Log.i(TAG, "Great, it supports h.264 hardware encoder!");
        }
    } else if (videoEncodeType == 2) {
        int kbps = LibPublisherWrapper.estimate_video_hardware_kbps(width, height, fps, false);
        Log.i(TAG, "hevcHWKbps: " + kbps);
        int isSupportHevcHWEncoder = lib_publisher.SetSmartPublisherVideoHevcHWEncoder(handle, kbps);
        if (isSupportHevcHWEncoder == 0) {
            lib_publisher.SetNativeMediaNDK(handle, 0);
            lib_publisher.SetVideoHWEncoderBitrateMode(handle, 1); // 0:CQ, 1:VBR, 2:CBR
            lib_publisher.SetVideoHWEncoderQuality(handle, 39);
            // libPublisher.SetVideoHWEncoderMaxBitrate(handle, ((long)hevcHWKbps)*1200);
            Log.i(TAG, "Great, it supports hevc hardware encoder!");
        }
    }
    boolean is_sw_vbr_mode = true;
    //H.264 software encoder
    if (is_sw_vbr_mode) {
        int is_enable_vbr = 1;
        int video_quality = LibPublisherWrapper.estimate_video_software_quality(width, height, true);
        int vbr_max_kbps = LibPublisherWrapper.estimate_video_vbr_max_kbps(width, height, fps);
        lib_publisher.SmartPublisherSetSwVBRMode(handle, is_enable_vbr, video_quality, vbr_max_kbps);
    }
    if (is_pcma_) {
        lib_publisher.SmartPublisherSetAudioCodecType(handle, 3);
    } else {
        lib_publisher.SmartPublisherSetAudioCodecType(handle, 1);
    }
    lib_publisher.SetSmartPublisherEventCallbackV2(handle, new EventHandlerPublisherV2().set(handler_, record_executor_));
    lib_publisher.SmartPublisherSetSWVideoEncoderProfile(handle, 3);
    lib_publisher.SmartPublisherSetSWVideoEncoderSpeed(handle, 2);
    lib_publisher.SmartPublisherSetGopInterval(handle, gop);
    lib_publisher.SmartPublisherSetFPS(handle, fps);
    // lib_publisher.SmartPublisherSetSWVideoBitRate(handle, 600, 1200);
    boolean is_noise_suppression = true;
    lib_publisher.SmartPublisherSetNoiseSuppression(handle, is_noise_suppression ? 1 : 0);
    boolean is_agc = false;
    lib_publisher.SmartPublisherSetAGC(handle, is_agc ? 1 : 0);
    int echo_cancel_delay = 0;
    lib_publisher.SmartPublisherSetEchoCancellation(handle, 1, echo_cancel_delay);
    return true;
}

image.gif

发布RTSP流成功后，会回调上来可供拉流的RTSP URL：

private static class EventHandlerPublisherV2 implements NTSmartEventCallbackV2 {
    @Override
    public void onNTSmartEventCallbackV2(long handle, int id, long param1, long param2, String param3, String param4, Object param5) {
        switch (id) {
            ...
            case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_RTSP_URL:
                publisher_event = "RTSP服务URL: " + param3;
                break;
        }
    }
}

image.gif

获取RTSP Session会话数：

//获取RTSP会话数
class ButtonGetRtspSessionNumbersListener implements View.OnClickListener {
    public void onClick(View v) {
        if (rtsp_server_.is_running()) {
            int session_numbers = rtsp_server_.get_client_session_number();
            Log.i(TAG, "GetRtspSessionNumbers: " + session_numbers);
            PopRtspSessionNumberDialog(session_numbers);
        }
    }
}

image.gif

对应的Wrapper封装代码如下：

public int get_client_session_number() {
    if (!is_running())
        return 0;
    if (null == lib_publisher_)
        return 0;
    long handle = native_handle_.get();
    if (0 == handle)
        return 0;
    try {
        int ret = lib_publisher_.GetRtspServerClientSessionNumbers(handle);
        return ret;
    } catch (Exception e) {
        Log.e(TAG, "RTSPServer.Handle.get_client_session_number Exception:", e);
        return 0;
    }
}

image.gif

数据投递如下（以Camera2采集为例，如果是其他视频格式，也可以正常对接）：

@Override
public void onCameraImageData(Image image) {
    ....
    for (LibPublisherWrapper i : publisher_array_)
        i.PostLayerImageYUV420888ByteBuffer(0, 0, 0,
            planes[0].getBuffer(), y_offset, planes[0].getRowStride(),
            planes[1].getBuffer(), u_offset, planes[1].getRowStride(),
            planes[2].getBuffer(), v_offset, planes[2].getRowStride(), planes[1].getPixelStride(),
            w, h, 0, 0,
            scale_w, scale_h, scale_filter_mode, rotation_degree);
}

image.gif

音频采集投递设计如下：

void startAudioRecorder() {
    if (audio_recorder_ != null)
        return;
    audio_recorder_ = new NTAudioRecordV2(this);
    Log.i(TAG, "startAudioRecorder call audio_recorder_.start()+++...");
    audio_recorder_callback_ = new NTAudioRecordV2CallbackImpl(stream_publisher_, null);
    audio_recorder_.AddCallback(audio_recorder_callback_);
    if (!audio_recorder_.Start(is_pcma_ ? 8000 : 44100, 1) ) {
        audio_recorder_.RemoveCallback(audio_recorder_callback_);
        audio_recorder_callback_ = null;
        audio_recorder_ = null;
        Log.e(TAG, "startAudioRecorder start failed.");
    }
    else {
        Log.i(TAG, "startAudioRecorder call audio_recorder_.start() OK---...");
    }
}
void stopAudioRecorder() {
    if (null == audio_recorder_)
        return;
    Log.i(TAG, "stopAudioRecorder+++");
    audio_recorder_.Stop();
    if (audio_recorder_callback_ != null) {
        audio_recorder_.RemoveCallback(audio_recorder_callback_);
        audio_recorder_callback_ = null;
    }
    audio_recorder_ = null;
    Log.i(TAG, "stopAudioRecorder---");
}

image.gif

回调Audio数据的地方，直接投递出去：

private static class NTAudioRecordV2CallbackImpl implements NTAudioRecordV2Callback {
    private WeakReference<LibPublisherWrapper> publisher_0_;
    private WeakReference<LibPublisherWrapper> publisher_1_;
    public NTAudioRecordV2CallbackImpl(LibPublisherWrapper publisher_0) {
        if (publisher_0 != null)
            publisher_0_ = new WeakReference<>(publisher_0);
    }
    private final LibPublisherWrapper get_publisher_0() {
        if (publisher_0_ !=null)
            return publisher_0_.get();
        return null;
    }
    @Override
    public void onNTAudioRecordV2Frame(ByteBuffer data, int size, int sampleRate, int channel, int per_channel_sample_number) {
        LibPublisherWrapper publisher_0 = get_publisher_0();
        if (publisher_0 != null)
            publisher_0.OnPCMData(data, size, sampleRate, channel, per_channel_sample_number);
    }
}

image.gif

onDestroy() 的时候，调用deinitialize_sdk()即可：

@Override
protected void onDestroy() {
    Log.i(TAG, "activity destory!");
    stopAudioRecorder();
    stopRtspPublisher();
    stream_publisher_.release();
    rtsp_server_.reset();
    //如已启用内置服务功能(InitRtspServer)，调用UnInitRtspServer, 注意，即便是启动多个RTSP服务，也只需调用UnInitRtspServer一次
    LibPublisherWrapper.RTSPServer.deinitialize_sdk(libPublisher);
    stopLayerPostThread();
    if (camera2Helper != null) {
        camera2Helper.release();
    }
    super.onDestroy();
}

image.gif

总结

Android平台轻量级RTSP服务模块二次封装版，相对接口版，对接更方便。开发者无需关注底层实现，可以更方便的对接到自己的业务系统。感兴趣的开发者，可以单独跟我们探讨。

文章标签：
Android开发
开发者
编解码
开发工具
API
关键词：
Android平台
Android服务
Android平台rtsp
Android rtsp
Android轻量级
音视频牛哥
目录
相关文章
德国都芳最好
|
8天前
|
JavaScript 前端开发 Android开发
让Vite+Vue3项目在Android端离线打开（不需要起服务）
让Vite+Vue3项目在Android端离线打开（不需要起服务）
德国都芳最好
26 10
肥猪肥猪-17824
|
8天前
|
IDE 开发工具 Android开发
安卓与iOS开发对比：平台选择对项目成功的影响
【9月更文挑战第10天】在移动应用开发的世界中，选择正确的平台是至关重要的。本文将深入探讨安卓和iOS这两大主要移动操作系统的开发环境，通过比较它们的市场份额、开发工具、编程语言和用户群体等方面，为开发者提供一个清晰的指南。我们将分析这两个平台的优势和劣势，并讨论如何根据项目需求和目标受众来做出最佳选择。无论你是初学者还是有经验的开发者，这篇文章都将帮助你更好地理解每个平台的特性，并指导你做出明智的决策。
肥猪肥猪-17824
29 10
帅政的oss
|
8天前
|
开发工具 Android开发 iOS开发
安卓与iOS开发：平台选择的艺术与科学
在移动应用开发的广阔天地中，安卓与iOS两大平台如同东西方哲学的碰撞，既有共通之处又各具特色。本文将深入探讨这两个平台的设计理念、开发工具和市场定位，旨在为开发者提供一份简明扼要的指南，帮助他们在这场技术与商业的博弈中找到自己的道路。通过比较分析，我们将揭示每个平台的优势与局限，以及它们如何影响应用的性能、用户体验和市场接受度。无论你是初涉江湖的新手，还是经验丰富的老手，这篇文章都将为你的选择提供新的视角和思考。
帅政的oss
19 5
jiashufeng
|
9天前
|
人工智能 Android开发 iOS开发
安卓与iOS开发：平台选择的艺术
在移动应用开发的广阔天地里，安卓和iOS两大操作系统各占半壁江山。本文将深入探讨这两个平台的开发环境、工具及市场趋势，帮助开发者在选择适合自己项目的平台时做出更明智的决策。通过比较各自的优势与局限，我们不仅能更好地理解每个系统的核心特性，还能洞察未来技术发展的脉络。无论你是刚入行的新手还是资深开发者，这篇文章都将为你提供有价值的参考和启示。
jiashufeng
22 5
liuliunainai
|
8天前
|
Linux Android开发 iOS开发
探索Android与iOS开发：平台之战还是互补共生？
在移动应用开发的浩瀚宇宙中，Android和iOS这两大星系始终吸引着无数开发者的目光。它们各自拥有独特的引力场，引领着技术潮流的方向。本文将穿梭于这两个平台的星际空间，揭示它们背后的力量对比，以及如何在这两者之间找到平衡点，共同推动移动应用开发的进步。
liuliunainai
18 1
萝卜带泥
|
8天前
|
移动开发 开发框架 Android开发
安卓与iOS开发：平台之战的新篇章
在移动应用开发的广阔天地中，安卓和iOS始终占据着主导地位。本文通过比较这两个平台的发展历程、技术特点及未来趋势，探讨了它们之间的竞争与合作。文章旨在为开发者提供一个清晰的平台选择指南，并预测未来移动开发的可能走向。
萝卜带泥
16 1
1592440288735793
|
10天前
|
移动开发 开发工具 Android开发
安卓与iOS开发：平台差异及其对开发者的影响
在移动开发的大潮中，安卓和iOS两大阵营各领风骚。本文将探讨这两个平台的关键差异，包括开发环境、编程语言、用户界面设计、应用分发以及商业模式等方面。通过比较分析，我们旨在为开发者提供一个清晰的指导，帮助他们根据项目需求和个人偏好做出明智的平台选择。同时，文章也将分享一些跨平台开发工具的使用经验，以期最大化开发效率和市场覆盖。
1592440288735793
29 1
xibeijing
|
5天前
|
监控 算法 数据可视化
深入解析Android应用开发中的高效内存管理策略在移动应用开发领域，Android平台因其开放性和灵活性备受开发者青睐。然而，随之而来的是内存管理的复杂性，这对开发者提出了更高的要求。高效的内存管理不仅能够提升应用的性能，还能有效避免因内存泄漏导致的应用崩溃。本文将探讨Android应用开发中的内存管理问题，并提供一系列实用的优化策略，帮助开发者打造更稳定、更高效的应用。
在Android开发中，内存管理是一个绕不开的话题。良好的内存管理机制不仅可以提高应用的运行效率，还能有效预防内存泄漏和过度消耗，从而延长电池寿命并提升用户体验。本文从Android内存管理的基本原理出发，详细讨论了几种常见的内存管理技巧，包括内存泄漏的检测与修复、内存分配与回收的优化方法，以及如何通过合理的编程习惯减少内存开销。通过对这些内容的阐述，旨在为Android开发者提供一套系统化的内存优化指南，助力开发出更加流畅稳定的应用。
xibeijing
17 0
游客qf4jmczx4xu2y
|
4天前
|
Android开发 开发者 Kotlin
探索安卓开发中的新特性
【9月更文挑战第14天】本文将引导你深入理解安卓开发领域的一些最新特性，并为你提供实用的代码示例。无论你是初学者还是经验丰富的开发者，这篇文章都会给你带来新的启示和灵感。让我们一起探索吧！
游客qf4jmczx4xu2y
21 9
历年考试不作弊
|
1天前
|
Java Linux Android开发
深入理解Android开发：从基础到高级
【9月更文挑战第17天】本文将深入探讨Android开发的各个方面，包括应用开发、操作系统等。我们将通过代码示例来展示如何创建一个简单的Android应用，并解释其背后的原理。无论你是初学者还是有经验的开发者，这篇文章都将为你提供有价值的信息和启示。
历年考试不作弊
15 7

视觉智能

热门文章

最新文章

  • 1
    网络安全需求增大，世平信息用数据内容识别技术填补市场空白
  • 2
    【图像算法】彩色图像分割专题一：颜色空间1（原理）
  • 3
    Double DIP ——一种无监督层图像分割 AI 技术
  • 4
    YOLOv8改进 | 主干网络 | 增加网络结构增强小目标检测能力【独家创新——附结构图】
  • 5
    ‘通义万相’使用体验——令人惊艳的AI绘画创作大模型
  • 6
    通过容器搭建开源文字识别/OCR服务
  • 7
    一个基于C#开发的轻量级OCR文字识别开源工具
  • 8
    【阿里云OpenVI-视觉生产系列之图片上色】照片真实感上色算法DDColor ICCV2023论文深入解读
  • 9
    YOLOv8改进 | 融合模块 | 用Resblock+CBAM卷积替换Conv【轻量化网络】
  • 10
    达摩院CVPR2023人脸重建论文HRN解读——REALY榜单冠军模型
  • 1
    超分辨率相关的开源项目
    17
  • 2
    HTML 属性新手注意点
    24
  • 3
    使用Python实现深度学习模型：智能保险风险评估
    51
  • 4
    速通FFmpeg入门
    25
  • 5
    FFmpeg开发笔记（五十一）适合学习研究的几个音视频开源框架
    34
  • 6
    FFmpeg开发笔记（五十）聊聊几种流媒体传输技术的前世今生
    46
  • 7
    网页不安装插件如何播放RTSP/FLV视频
    29
  • 8
    同一路RTSP|RTMP流如何同时回调YUV和RGB数据实现渲染和算法分析
    36
  • 9
    多路RTSP转RTMP推送方案的两个选择
    38
  • 10
    FFmpeg开发笔记（四十九）助您在毕业设计中脱颖而出的几个流行APP
    50

    • 相关课程

    更多
  • 开源Android容器化框架Atlas开发者指南

    • 相关电子书

    更多
  • 58同城Android客户端Walle框架演进与实践之路
  • Android组件化实现
  • 蚂蚁聚宝Android秒级编译——Freeline

    • 相关实验场景

    更多
  • 使用Java面向对象编写网络通信程序应用
  • Python网络通信程序典型应用
  • 基于函数计算快速搭建Zblog等传统应用框架
    • 下一篇
    基于LNMP搭建WordPress