SpireCV 2.0上线!跨平台、跨语言、高效视觉感知!
在智能无人系统飞速发展的当下,视觉感知进入多场景融合、规模化拓展、全维度集成的新阶段。算计需求更大,算法模型更复杂,应用领域不断扩大。历经一年打磨,视觉感知开源神器SpireCV 2.0正式上线!面对多场景融合的产业浪潮,为提升行业效能,赋能用户,我们以开源模式为核心,推出开源视觉感知SDK,帮助用户解决视觉感知任务中开发经验不足、开发周期长、成本高、数据保密等难题;秉持开源协作,推动视觉感知任务快速落地。
SpireCV 2.0
在SpireCV 2.0 中,我们引入节点式编程的软件设计模式,通过将程序的逻辑拆分成独立的节点,每个节点负责完成特定的功能。配合自研的SpireMS消息系统,开发者可像搭积木般构建视觉工作流。目前已支持多种流行视觉算法、视频保存、推流、流媒体读取、控制协议等相关节点,用户可以根据自已的实际需求选择对应的节点组成自己的工作流。用户也可以根据自己的实际需求开发自己的功能节点。
开源资源速递
SpireCV Wiki地址:https://docs.amovlab.com/spire\_cv\_amov/#/
SpireCV源代码地址:Github:https://github.com/amov-lab/SpireCVGitee:https://gitee.com/amovlab/SpireCV(推荐)
SpireMS
SpireMS也叫做Spire消息系统,一个类似ROS的轻量化消息发布、订阅软件包,支持图像、雷达等传感器话题。
为什么要做SpireMS?
跨程序数据分发依然困难,系统Windows、Linux、程序C++、Python、Anaconda不同版本安装ROS、ROS2依然存在各种问题。
数据分发系统不够轻量化,我们希望一键安装部署,而ROS、ROS2往往需要半天时间部署。
数据分发系统的数据类型需要预先定义(ROS message,ROS2的IDL语言),不能灵活适应。
ROS存在带宽过度占用问题,没有被订阅的节点依然占用带宽。
图像、雷达等占用带宽极大的程序需要共享内存机制。
SpireMS的优点
完美适配Windows、Linux系统,以及C++、Python、Anaconda的各种版本。
一键部署安装,轻量化。
可预先定义基础数据类型,也可以灵活适应新的类型,极大方便多消息同步。
有中心模式,内置防崩溃机制,通信稳定可靠,没有订阅者不占用带宽。
默认支持内存共享机制,跨进程传输图像性能大幅优于ROS2(Fast-DDS)。
SpireCV 2.0 优势
1.节点式编程,实现快人一步
相较于SpireCV 1.0,SpireCV 2.0最大的特点是搭载了自研数据分发系统SpireMS,其所有的功能都是以节点式的方式实现。通过节点式编程、实现了“跨平台、跨系统、跨语言”。节点与节点之间独立编译、独立运行。节点与节点之间能够实现跨平台,可以在不同硬件平台之间使用;能够实现跨系统,可以在不同系统之间组合工作流;能够实现跨语言,不同语言实现的节点之间仍然可以通信。
SpireCV 2.0 自动注意力目标检测工作流(含吊舱控制)
2.AI赋能,标注训练自动化
“标注-训练”一键流水线,开发者再也不用为数据标注熬夜,真正实现”所想即所得”。
SpireCV 2.0 目标检测流程示意图
🔹支持新版SAM2自动化标注(无需自设服务器)
🔹支持新版GroundingDINO自动化标注(无需自设服务器)
🔹支持YOLOv11训练管理用户在SpireVIEW上完成自定义数据标注后,可使用SpireVIEW的模型训练功能,输入训练指令,一键快速训练。
3.支持共享内存,超低延时的图像数据传输
测试性能如下:
🔹X86平台,SpireMS共享内存传输4K分辨率图像延时相比ROS2快6倍
🔹Jetson平台,SpireMS共享内存传输4K分辨率图像相比ROS2快75倍
SpireMS-JPG为使用sensor_msgs::CompressedImage类型默认传输方式
SpireMS-NVJPG为使用sensor_msgs::CompressedImage类型并开启NV硬件加速传输
SpireMS-ShareMem为使用memory_msgs::RawImage类型共享内存传输
延迟越低越好
🔹多路共享内存压力测试(8路1920×1080)X86(5600G+RTX3090平台)本机进程间通信采用共享内存机制,8个进程分别发送8路1920×1080\@30Hz的图像数据,同时另有8个进程分别接收并显示这8路图像。整个系统的综合延迟控制在帧内,延迟时间不超过30毫秒。
欢迎试用
欢迎广大开发者试用并提供宝贵反馈,您的建议将助力我们不断优化产品,提升技术应用的深度与广度。同时,我们诚邀您扫码加入技术交流群,与行业专家及志同道合的开发者交流心得、碰撞思维,共同探索前沿技术的无限可能。群内更有资深工程师在线答疑,助您深入理解技术细节,高效解决实际问题。让我们携手共进,推动技术革新与实践落地!
