K230 中间件API参考
1. 概述
1.1 概述
中间件在系统中的位置为k230_sdk/src/common/cdk/user/middleware
本文档描述相关的中间件部分,涉及可视对讲协议、混音、mp4格式封装与解封装、播放器等。
1.2 功能描述
1.2.1 可视对讲rtsp协议
参照ONVIF rtsp扩展,实现单线视频的可视对讲协议;
rtsp-server支持发送audio、video以及接收backchannel audio mediaSubSesisons.
rtsp-client支持接收audio、video以及发送backchannel audio mediaSubSessions.
相关描述见可视对讲协议章节
1.2.2 播放器
实现mp4文件播放。视频支持h264、h265,音频支持g711a/u。
1.2.3 混音
实现两路g711a/u混音。
1.2.4 MP4格式封装解封装
实现音视频与mp4格式间的封装与解封装。
2. API参考
2.1 可视对讲rtsp-server
KdRtspServer提供以下API:
- Init:初始化。
- DeInit:反初始化。
- CreateSession:创建rtsp session。
- DestroySession:销毁rtsp session。
- Start:开启rtsp-server服务。
- Stop:停止rtsp-server服务。
- SendVideoData:写入视频码流数据。
- SendAudioData:写入音频码流数据。
2.1.1 KdRtspServer::Init
【描述】
rtsp-server初始化。
【语法】
int Init(Port port = 8554, IOnBackChannel *back_channel = nullptr);
【参数】
参数名称 | 描述 | 输入/输出 |
---|---|---|
port | rtsp服务端口。 | 输入 |
back_channel | 对端来的音频数据回调指针。 | 输入 |
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:rtsp_server.h
- 库文件:
【注意】
无。
【举例】
无。
【相关主题】
无。
2.1.2 KdRtspServer::DeInit
【描述】
反初始化。
【语法】
void DeInit();
【参数】
无。
【返回值】
无。
【需求】
- 头文件:rtsp_server.h
- 库文件:
【举例】
无。
2.1.3 KdRtspServer::CreateSession
【描述】
创建RtspSession。
【语法】
int CreateSession(const std::string &session_name, const SessionAttr &session_attr);
【参数】
参数名称 | 描述 | 输入/输出 |
---|---|---|
session_name | stream url。 | 输入 |
session_attr | session 配置参数。 | 输入 |
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:rtsp_server.h
- 库文件:
【注意】
【举例】
无。
2.1.4 KdRtspServer::DestroySession
【描述】
销毁rtsp session。
【语法】
int DestroySession(const std::string &session_name);
【参数】
参数名称 | 描述 | 输入/输出 |
---|---|---|
session_name | stream url。 | 输入 |
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:rtsp_server.h
- 库文件:
【注意】
【举例】
无。
【相关主题】
2.1.5 KdRtspServer::Start
【描述】
开启rtsp server服务。
【语法】
void Start();
【参数】
无。
【返回值】
无。
【需求】
- 头文件:rtsp-server.h
- 库文件:
【注意】 无
【举例】
无。
【相关主题】
2.1.6 KdRtspServer::Stop
【描述】
停止rtsp-server服务。
【语法】
void Stop();
【参数】
无
【返回值】
无
【需求】
- 头文件:rtsp_server.h
- 库文件:
【注意】
【举例】
无。
2.1.7 KdRtspServer::SendVideoData
【描述】
写入视频码流数据。
【语法】
int SendVideoData(const std::string &session_name, const uint8_t *data, size_t size, uint64_t timestamp);
【参数】
参数名称 | 描述 | 输入/输出 |
---|---|---|
session_name | stream url | 输入 |
data | 视频码流地址。 | 输入 |
size | 视频码流大小。 | 输入 |
timestamp | 码流时间戳(毫秒) | 输入 |
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:rtsp_server.h
- 库文件:
【举例】
无。
2.1.8 KdRtspServer::SendAudioData
【描述】
写入音频码流数据。
【语法】
int SendAudioData(const std::string &session_name, const uint8_t *data, size_t size, uint64_t timestamp);
【参数】
参数名称 | 描述 | 输入/输出 |
---|---|---|
session_name | stream url | 输入 |
data | 音频码流地址。 | 输入 |
size | 音频码流大小。 | 输入 |
timestamp | 码流时间戳(毫秒) | 输入 |
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:rtsp_server.h
- 库文件:
【举例】
无。
2.2 可视对讲rtsp-client
KdRtspClient模块提供以下API:
- Init:初始化。
- DeInit:反初始化。
- Open:打开并运行rtspclient连接。
- Close:关闭rtspclient连接。
- SendAudioData:写入backchannel音频码流数据。
2.2.1 KdRtspClient::Init
【描述】
初始化
【语法】
int Init(const RtspClientInitParam ¶m);
【参数】
参数名称 | 描述 | 输入/输出 |
---|---|---|
param | rtspclient初始化参数 | 输入 |
class IOnAudioData {
public:
virtual ~IOnAudioData() {}
virtual void OnAudioData(const uint8_t *data, size_t size, uint64_t timestamp) = 0;
};
class IOnVideoData {
public:
enum VideoType {VideoTypeInvalid, VideoTypeH264, VideoTypeH265};
virtual ~IOnVideoData() {}
virtual void OnVideoType(VideoType type, uint8_t *extra_data, size_t extra_data_size) = 0;
virtual void OnVideoData(const uint8_t *data, size_t size, uint64_t timestamp, bool keyframe) = 0;
};
class IRtspClientEvent {
public:
virtual ~IRtspClientEvent() {}
virtual void OnRtspClientEvent(int event) = 0; // event 0: shutdown
};
struct RtspClientInitParam {
IOnVideoData *on_video_data{nullptr}; // 从server侧收到的视频码流帧回调
IOnAudioData *on_audio_data{nullptr}; // 从server侧收到的音频码流帧回调
IRtspClientEvent *on_event{nullptr}; // rtspclient event回调
bool enableBackchanel{false}; // 是否enable audio backchannel
};
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:rtsp_client.h
- 库文件:
【注意】
无。
【举例】
无。
【相关主题】
无。
2.2.2 KdRtspClient::Deinit
【描述】
反初始化。
【语法】
void DeInit();
【参数】
无。
【返回值】
无。
【需求】
- 头文件:rtsp_client.h
- 库文件:
【注意】
无。
【举例】
无。
【相关主题】
无。
2.2.3 KdRtspClient::Open
【描述】
打开并运行rtspclient连接
【语法】
int Open(const char *url);
【参数】
参数名称 | 描述 | 输入/输出 |
---|---|---|
url | rtsp url。 | 输入 |
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:rtsp_client.h
- 库文件:
【注意】
无。
【举例】
无。
【相关主题】
无。
2.2.4 KdRtspClient::Close
【描述】
关闭rtsp client。
【语法】
void Close();
【参数】
【返回值】
【需求】
- 头文件:rtsp_client.h
- 库文件:
【注意】
无。
【举例】
无。
【相关主题】
无。
2.2.5 KdRtspClient::SendAudioData
【描述】
写入音频back channnel码流数据。
【语法】
int SendAudioData(const uint8_t *data, size_t size, uint64_t timestamp);
【参数】
参数名称 | 描述 | 输入/输出 |
---|---|---|
data | 音频码流数据地址 | 输入 |
size | 音频码流数据大小 | 输出 |
timestamp | 音频码流数据时间戳(毫秒) | 输出 |
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:rtsp_client.h
- 库文件:
【注意】
无。
【举例】
无。
【相关主题】
无。
2.3 播放器封装
KdPlayer模块提供以下API:
- kd_player_init:初始化。
- kd_player_deinit:反初始化。
- kd_player_setdatasource:设置媒体播放文件。
- kd_player_regcallback:注册事件回调。
- kd_player_start:开始播放。
- kd_player_stop:停止播放。
2.3.1 kd_player_init
【描述】
播放器初始化 。
【语法】
k_s32 kd_player_init();
【参数】
无
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:kplayer.h
- 库文件:libkplayer.a
【注意】
无。
【举例】
无。
【相关主题】
无。
2.3.2 kd_player_deinit
【描述】
反初始化。
【语法】
k_s32 kd_player_deinit();
【参数】
无
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:kplayer.h
- 库文件:libkplayer.a
【注意】
无。
【举例】
无。
【相关主题】
无。
2.3.3 kd_player_setdatasource
【描述】
反初始化。
【语法】
k_s32 kd_player_setdatasource(const k_char* filePath);
【参数】
参数名称 | 描述 | 输入/输出 |
---|---|---|
filePath | 媒体文件路径 | 输入 |
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:kplayer.h
- 库文件:libkplayer.a
【注意】
无。
【举例】
无。
【相关主题】
无。
2.3.4 kd_player_regcallback
【描述】
注册播放器事件回调。
【语法】
k_s32 kd_player_regcallback( K_PLAYER_EVENT_FN pfnCallback,void* pData);
【参数】
参数名称 | 描述 | 输入/输出 |
---|---|---|
pfnCallback | 回调函数指针 | 输入 |
pData | 回调数据指针 | 输入 |
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:kplayer.h
- 库文件:libkplayer.a
【注意】
无。
【举例】
无。
【相关主题】
无。
2.3.5 kd_player_start
【描述】
开始播放。
【语法】
k_s32 kd_player_start();
【参数】
无
【返回值】
返回值 | 描述 |
---|---|
0 | 成功。 |
非0 | 失败。 |
【需求】
- 头文件:kplayer.h
- 库文件:libkplayer.a
【注意】
无。
【举例】
无。