Qt/C++开发监控GB28181系统/语音对讲/语音广播/实时通话/音视频通话
·
一、前言
语音对讲在gb协议中也是非常繁琐，甚至比视频点播还要繁琐，不明白为何不直接用现有的视频通道来传输数据，而是要重新开一路。然道有些场景是纯音频设备，不需要视频也能正常对讲？语音对讲在gb28181中和视频点播刚好相反，他的流程是先服务端发一个语音广播的通知，设备端收到后应答，然后主动向服务端发起点播请求，携带sdp信息告知服务端采用何种模式通信，服务端收到后应答请求，监听或者连接对应端口，设备端应答ack后，整个对讲开始，服务端采集的音频数据，打包成rtp格式发送给设备端，设备端的语音信息一般会通过视频通道一起传输，视频通道收到的就版包含了设备端对讲的声音，解析出来播放即可。
那如何在界面上交互呢，这是个比较有意思的问题，之前视频控件已经做得很完善了，提供了万能的悬浮条，那就用这个做文章，之前的悬浮条是个单独的widget，提供了通用的函数接口，设置上面要显示哪些信息，可以添加哪些按钮，每个按钮都提供了单击事件发出来，收到信号后对应执行动作即可，之前已经有录像、静音切换、抓图、关闭等功能，现在只需要在中间插入一个对讲的按钮即可，于是从牛逼的阿里巴巴图标库中找到两个语音对讲图标字体，一个是开始语音对讲，一个是结束语音对讲，然后将新的字体图标添加到之前的iconfont图形字体库。最后搞了个专门的GB28181WidgetManage单例类，专门管理28181视频窗体的重连和语音对讲，系统一般会限制只能同时存在一个通道处于对讲状态，所以当其他窗体又单击了对讲按钮的时候，先判断过滤下，有就不执行并弹出提示。
//语音广播：服务端-》设备端
MESSAGE sip:34020000001320000001@192.168.0.100:5061 SIP/2.0
Via: SIP/2.0/UDP 192.168.0.110:15060;branch=z3hG9bK9085c93b7778426c805f0f000f31e2b6
From: <sip:34020000002000000001@192.168.0.110:15060>;tag=1017
To: <sip:34020000001320000001@192.168.0.100:5061>
Call-ID: 3a10b0f450f0499a95c61c3948522546
CSeq: 18 MESSAGE
User-Agent: wx_feiyangqingyun
Max-Forwards: 70
Content-Length: 200
Content-Type: application/MANSCDP+xml
Contact: <sip:34020000002000000001@192.168.0.110:15060>
<?xml version="1.0" encoding="GB2312"?>
<Notify>
<CmdType>Broadcast</CmdType>
<SN>10017</SN>
<SourceID>34020000002000000001</SourceID>
<TargetID>34020000001310000001</TargetID>
</Notify>
//广播应答：设备端-》服务端
MESSAGE sip:34020000002000000001@192.168.0.110:15060 SIP/2.0
Call-ID: e78acda839fea196d5a4867db0ffe585
Content-Length: 180
Content-Type: Application/MANSCDP+xml
CSeq: 8 MESSAGE
From: <sip:34020000001320000001@192.168.0.100:5061>;tag=49b96ab2783ae380cd1f39848c0cf0de
Max-Forwards: 70
To: <sip:34020000002000000001@192.168.0.110:15060>
User-Agent: SIP UAS V.2016.xxxx
Via: SIP/2.0/UDP 192.168.0.100:5061;rport;branch=z9hG4bK09c5c9872f1eaeeb2f753672bbcac574
<?xml version="1.0" encoding="GB2312" standalone="yes" ?><Response><CmdType>Broadcast</CmdType><SN>10017</SN><DeviceID>34020000001310000001</DeviceID><Result>OK</Result></Response>
//对讲请求：设备端-》服务端
INVITE sip:34020000002000000001@192.168.0.110:15060 SIP/2.0
Call-ID: fd514e34c2a7e40940437ac0272afd44
Contact: <sip:34020000001320000001@192.168.0.100:5061>
Content-Length: 240
Content-Type: application/sdp
CSeq: 1 INVITE
Expires: 120
From: <sip:34020000001320000001@192.168.0.100:5061>;tag=44088339578db934ef88a6a85534964b
Max-Forwards: 70
Subject: 34020000002000000001:03d7a8ef3276a8ef327,34020000001310000001:0552354c54f3354c54f
To: <sip:34020000002000000001@192.168.0.110:15060>
User-Agent: SIP UAS V.2016.xxxx
Via: SIP/2.0/UDP 192.168.0.100:5061;rport;branch=z9hG4bK57f191fc39457eb7ed729b95c4f8a7bf
v=0
o=34020000001320000001 0 0 IN IP4 192.168.0.100
s=Play
i=VCam BroadCast Session
c=IN IP4 192.168.0.100
t=0 0
m=audio 9776 RTP/AVP 8 96
a=recvonly
a=rtpmap:8 PCMA/8000/1
a=rtpmap:96 PS/90000
y=0022440333
f=v/0/0/0/0/0a/1/8/1
//请求应答：服务端-》设备端
SIP/2.0 200 OK
Via: SIP/2.0/UDP 192.168.0.100:5061;rport;branch=z9hG4bK57f191fc39457eb7ed729b95c4f8a7bf
From: <sip:34020000001320000001@192.168.0.100:5061>;tag=44088339578db934ef88a6a85534964b
To: <sip:34020000002000000001@192.168.0.110:15060>;tag=fd514e34c2a7e40940437ac0272afd44
Call-ID: fd514e34c2a7e40940437ac0272afd44
CSeq: 1 INVITE
User-Agent: wx_feiyangqingyun
Date: 2025-05-05T17:12:49.401
Content-Length: 166
Content-Type: application/sdp
v=0
o=34020000002000000001 0 0 IN IP4 192.168.0.110
s=Play
c=IN IP4 192.168.0.110
t=0 0
m=audio 15060 RTP/AVP 8
a=sendonly
a=rtpmap:8 PCMA/8000
y=0022440333
//开始对讲：设备端-》服务端
ACK sip:34020000002000000001@192.168.0.110:15060 SIP/2.0
Call-ID: 2136e2263aa41b1c846a318586303f8e
Contact: <sip:34020000001320000001@192.168.0.100:5061>
Content-Length: 0
CSeq: 1 ACK
From: <sip:34020000001320000001@192.168.0.100:5061>;tag=9cc9d4a2600e325f8fd545d2bd753e84
Max-Forwards: 70
To: <sip:34020000002000000001@192.168.0.110:15060>;tag=2136e2263aa41b1c846a318586303f8e
User-Agent: SIP UAS V.2016.xxxx
Via: SIP/2.0/UDP 192.168.0.100:5061;rport;branch=z9hG4bKd8aa8116cdee11c14a382f1fa6e5693e
//结束对讲：服务端-》设备端
BYE sip:34020000002000000001@192.168.0.110:15060 SIP/2.0
Via: SIP/2.0/UDP 192.168.0.110:15060;branch=z3hG9bKd2ed4e36330b418d80fa0873c72732f9
From: <sip:34020000002000000001@192.168.0.110:15060>;tag=fd514e34c2a7e40940437ac0272afd44
To: <sip:34020000001320000001@192.168.0.100:5061>;tag=44088339578db934ef88a6a85534964b
Call-ID: fd514e34c2a7e40940437ac0272afd44
CSeq: 19 BYE
Contact: <sip:34020000002000000001@192.168.0.110:15060>
二、效果图
三、相关地址
- 国内站点：https://gitee.com/feiyangqingyun
- 国际站点：https://github.com/feiyangqingyun
- 个人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
- 文件地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码：01jf 文件名：bin_video_gb28181。
四、功能特点
- 支持设备注册、注销、心跳、校时、注册认证、注销认证等。
- 设备上线后可以手动获取设备状态、设备信息、配置信息、预置位信息等。
- 设备上线后自动获取设备通道信息，包括中文通道名称。识别到通道上线离线变化，会重新获取该设备的所有通道信息。
- 支持视频点播，可以分别点播主码流和子码流，内置rtp解包线程，解包后发给视频播放组件解码播放。
- 每个设备每个通道支持点播多个视频，通过ssrc区分，支持共用端口和不同端口收流。
- 支持对某个设备下面所有通道、某个通道、某个通道对应的某个流分别关闭。
- 支持录像文件查询和回放，回放控制支持暂停播放、继续播放、倍速播放、切换播放进度。
- 支持录像文件下载，支持倍速比如8倍速下载，可同时多线程批量下载。
- 回放和下载同时支持IPC和NVR，比如摄像头自带的SD存储卡录像文件回放，NVR上的硬盘录像文件回放。
- 支持云台控制，向上、向下、向左、向右、左上、右上、左下、右下方位移动，镜头放大缩小，光圈放大缩小，镜头聚焦放焦。
- 支持预置位信息的查询、调用、添加、修改、删除等操作。
- 自动目录订阅功能，通道上线下线都有对应的信号通知。
- 内置定时读取通道信息机制，以保证通道信息是最新的，比如有些NVR是不断更新的通道信息。
- 内置订阅警情和位置移动功能，订阅后各种警情事件比如运动目标检测报警、入侵检测报警、徘徊检测报警等自动上报。
- 支持语音对讲功能，可以直接在视频窗体的悬浮条上单击语音对讲按钮，再次单击关闭对讲，对讲期间悬浮条常驻显示。
- 支持设备布防撤防，布防后警情信息会主动上报。
- 国标服务同时支持udp和tcp方式，可选只监听一种或者两种都监听，tcp方式自动处理粘包问题。
- 国标拉流同时支持udp、tcp被动、tcp主动三种方式，每个通道都可以自由选择何种拉流方式。
- 内置拉流端口池，每次拉流从中取出一个，关闭流自动回收端口号，重复利用。
- 收流端口自动纠错，自动跳过被占用的端口，不会出现端口占用导致收流失败的情况。
- 支持三种取流方式自动检测离线重连，检测到离线后，自动重启点播拉流整个流程。
- 录像文件回放，上一个完成后自动切换到下一个继续回放，直到所有回放完成。支持高达8倍速回放。
- 视频播放自适应硬解码，极低资源占用，实时性极好，带悬浮条显示视频流信息，可以直接在悬浮条单击按钮保存录像文件到本地。
- 支持几千路国标消息交互并发，实时视频流支持64路同时显示，可以拓展更多路数。
- 支持阿里云等云服务器，可以分别设置内网监听地址和外网访问地址，一般云服务器上是监听地址用内网，对外访问用外网地址。
- 支持视频分发，也就是推流，视频通道打开后可以自动推流到流媒体服务器，其他需要的地方拉流即可，支持rtsp、rtmp、hls、webrtc等方式拉流。
- 实时预览和录像回放都支持推流，推流支持叠加文字和图片水印以及各种ffmpeg支持的滤镜效果，支持多个水印同时叠加。
- 同时支持gb28181-2011、gb28181-2016、gb28181-2022以及后续可能的所有协议版本。
- SIP解析和交互采用纯Qt底层代码实现，udp/tcp通信交互，祖传原创代码解析，不依赖任何第三方。
- 代码量少，gb28181交互部分共几千行代码，注释详细，接口友好，使用极其简单，提供非常详细的使用示例。
- 支持海康、大华、宇视、华为、天地伟业等所有国标设备，包括一些没有ssrc的设备。
- 支持所有Qt版本和编译器以及操作系统，包括但不限于win、linux、mac、android、嵌入式linux、树莓派香橙派、国产os等。
五、相关代码
#include "rtpthreadsend.h"
#include "rtphelper.h"
#include "pcmhelper.h"
RtpThreadSend::RtpThreadSend(QObject *parent) : RtpThreadBase(parent)
{
}
int RtpThreadSend::getTimestamp()
{
return 8000;
}
void RtpThreadSend::run()
{
this->stopped = false;
this->lastTime = QDateTime::currentDateTime();
RTPSession session;
RTPAbortDescriptors descriptors;
QTcpServer server;
QTcpSocket socket;
//根据不同的传输模式初始化
bool ok = false;
if (mode == 0) {
ok = RtpHelper::initUdpServer(this, status, &session);
} else if (mode == 1) {
//ok = RtpHelper::initTcpServer(this, status, &session, &descriptors, &server);
} else if (mode == 2) {
//ok = RtpHelper::initTcpClient(this, status, &session, &descriptors, &socket);
}
//初始化失败则不用继续
if (!ok) {
emit receiveError(status);
goto end;
}
while (!stopped) {
if (datas.count() > 0) {
QByteArray data = datas.takeFirst();
qint64 size = data.size();
//uint8_t *pcmaData = new uint8_t[size];
//PcmHelper::pcmToPcma((int16_t *)data.data(), pcmaData, size);
//PcmHelper::convert_pcm16_to_alaw((int16_t *)data.data(), pcmaData, size);
//PcmHelper::convert_pcm8_to_alaw((uint8_t *)data.data(),pcmaData,size);
status = session.SendPacket((void *)data.data(), size);
//qDebug() << TIMEMS << RtpHelper::debugErr(status) << size;
}
msleep(1);
}
end:
socket.disconnectFromHost();
server.close();
session.BYEDestroy(RTPTime(10, 0), 0, 0);
this->datas.clear();
this->free();
}
void RtpThreadSend::append(const QByteArray &data)
{
if (this->isRunning()) {
datas << data;
}
}
邀请您加入社区
更多推荐
11
0- 0
已为社区贡献6条内容
所有评论(0)