3D成像技术和产品AI时代的腾飞翅膀
添加时间:2024-09-13 13:33:24
信息时代大潮奔涌,让3D成像技术的市场前景越来越广阔。随着机器视觉、自动驾驶等颠覆性的AI人工智能技术逐步发展,采用3D 摄像头进行物体识别、行为识别、场景建模的相关应用越来越多。3D摄像头赋予AI设备一双看见世界的“眼睛”,成为开启AI时代的感知钥匙。
3D 摄像头可称为“3D相机”,也称之为“深度相机”。顾名思义,就是通过该相机检测出拍摄空间的景深距离,这也是其与普通摄像头最大的区别。普通的彩色相机拍摄到的图片能看到相机视角内的所有物体并记录下来,但是其所记录的数据不包含这些物体距离相机的距离;仅能通过图像的语义分析来判断哪些物体离我们比较远,哪些比较近,但是并没有确切的数据。而3D相机则恰恰解决了该问题。通过3D相机获取到的数据,我们能准确知道图像中每个点离摄像头的距离,再加上该点在2D图像中的(X、Y)坐标,就能获取图像中每个点的三维空间坐标;通过三维坐标就能还原真实场景,实现场景建模等应用。
我们的眼睛就是一个天然的3D 深度相机,这主要得益于偏光原理。当人眼在看任何物体时,由于两只眼睛在物理空间有约5cm的距离,即存在两个视角;这样就形成左右两眼所看的图像不完全一样,称为视差。这种细微的视差通过视网膜传递到大脑里,就能显示出物体的前后远近,产生强烈的立体感;这是1839 年,英国科学家温特斯顿发现的奇妙现象。因此人类就想到通过两个一定距离的普通摄像头来模拟人眼,以获取3D 数据,这就是最初的双目立体相机。鉴于双目相机的一些缺陷,后来人们又发明了结构光和TOF的方法来获取3D 数据。目前市场上常有的3D 相机方案就就是这3种。
1、结构光(Structure Light)。结构光投射特定的光信息到物体表面反射后,由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息,进而复原整个三维空间。目前市场上的代表公司(产品)有韵动体感科技、奥比中光、微软Kinect、苹果(Prime Sense),英特尔RealSense等。
2、TOF(Time Of Flight,飞行时间)。通过专有传感器,捕捉近红外光从发射到接收的飞行时间,判断物体距离。代表公司(产品)有微软Kinect-2、PMD、Soft Kinect等。
3、双目测距(Stereo System)。利用双摄拍摄物体,再通过三角形原理计算物体距离。代表公司(产品)有LeapMotion、ZED、大疆等。
结构光,英文叫做Structured Light,通常采用特定波长的不可见的红外激光作为光源,它发射出来的光经过一定的编码投影在物体上,再通过一定算法来计算返回的编码图案的畸变,来得到物体的位置和深度信息。根据编码图案不同,有条纹结构光—enshape、编码结构光--Mantis Vision, Realsense(F200),、散斑结构光--apple(primesense)。散斑结构光是成熟的方案。什么是散斑,举个例子,拿一个手电照射墙壁,站近或站远,墙上的光斑是不同大小的,从不同角度照射墙,光斑也会呈现不同的椭圆。
4) 在一定范围内精度高,分辨率高,分辨率可达1280x1024,帧率可达60FPS。
Timeof Flight是一种主动式深度感应技术,是测量光飞行时间来取得距离。具体而言就是通过给目标连续发射激光脉冲,然后用传感器接收反射光线,通过探测光脉冲的飞行往返时间来得到确切的目标物距离。鉴于直接测光飞行时间实际不可行,而通过一定手段调制后的光波的相位偏移来实现。
如上图所示,假设脉冲波形的频率为f,接收与发送脉冲波形的相位偏移是Δφ,则Δφ/2πf为脉冲波形往返所经历的时间。用光速c乘以时间则可以得到往返距离。
因为TOF 并非基于特征匹配,这样在测试距离变远时,精度也不会下降很快,目前无人驾驶以及一些高端的消费类雷达Lidar基本都是采用该方法来实现。
双目测距,传统的3D感知方法。类似人的双眼,在自然光下通过两个摄像头抓取图像,通过三角形原理来计算并获得深度信息。目前有主动双目、被动双目之分。被动双目就是采用可见光,好处是不需要额外光源,但是晚上无法使用;主动双目就是主动发射红外激光做补光,这样晚上也能使用。
双目视觉仅仅依靠图像进行特征匹配,对附加设备要求低,在使用双目视觉相机前必须对双目中两个摄像头的位置进行精确标定。当然完整的双目深度计算非常复杂,主要涉及到左右相机的特征匹配,计算会非常消耗资源。
1)对环境光照非常敏感。光线变化导致图像偏差大,进而会导致匹配失败或精度低。
2)不适用单调缺乏纹理的场景。双目视觉根据视觉特征进行图像匹配,没有特征会导致匹配失败。
4)基线限制了测量范围。测量范围和基线(两个摄像头间距)成正比,导致无法小型化。
从上面三种主流的3D 相机成像方案来看,各有优劣,但是从实际应用场景来看,除了无人驾驶之外的领域,结构光特别是散斑结构光的用途最广泛。因为从精度、分辨率,以及应用场景的范围来看,双目和TOF都没有办法做到最大的平衡。虽然结构光容易受环境光尤其是是太阳光影响与干扰,但是此类相机都有红外激光发射模块,非常容易改造为主动双目来弥补该问题。所以从最广泛的使用角度来看,散斑结构光无疑是目前3D相机最佳的方案。
YDSENS韵动体感3D结构光深度相机(摄像头),是北京韵动体感科技有限公司推出的行业领先产品。它具备1080P分辨率,毫米级精度,含正面识别和顶部识别SDK,独家可识别1米以下儿童,独家可同时识别多达6人,独家多人接触识别,独家顶部垂直识别,支持多台相机(2台及2台以上)同时连接一台主机,支持多台相机图像拼接,能够精准捕捉和识别人体的每一个细微动作,广泛应用于体感交互、机器视觉、立体视觉、运动训练、新零售、工业自动化、物流等领域。
基于深度图的三维骨骼识别算法SDK,大大降低了体感交互的准入门槛,并与市场上多家深度摄像头厂家完成对接,能够快速实现人体动作与终端设备的交互体验。该SDK是目前市场上唯一能匹配多个世界知名3D相机硬件产品的系统。
目前,球友会注册全球拥有自主体感识别算法的公司屈指可数,对开发应用的系统平台更是诸多的限制;北京韵动的SDK,不仅识别的人数能够达到6人甚至更多,还是全球唯一能识别一米以下儿童的产品,支持多个系统平台运行,包括C++、C#、Java、Unity、Python、C等调用接口,支持在windows、linux(PC版和arm版)以及Android平台运行,并包含丰富的示例程序,不管是初学者还是有经验的视觉开发者都可以参考。
在军事和体育训练上,可以进行引体向上、俯卧撑、仰卧起坐等军事训练标准检测动作比对及识别,助力运动和军事训练的日常检测和成果检测。同时可提供体感动作识别对比APP定制,适用于舞蹈、运动、健身、军训、体测等。
在工业生产制造领域,可监控零部件装配顺序,即时报警,避免出错;可在一定区域内进行异物检测,可多图像拼接,对区域内新进入的异物或人体等进行实时检测与报警,以及避开障碍物等。
在新零售领域,独家的顶部垂直识别、人物跟踪、骨骼识别、动作分析等技术,可以对客户的购物喜好和行为进行深入分析,更有效的建立客户档案,提供更具有优势的商品,提高效益。
该公司核心研发成员均来自于全球500强顶尖外企的3D相机部门,专注于3D机器视觉感知技术领域。,技术和产品尤其在在不同身高、不同年龄的识别准确率更高,稳定性更强。在微软Kinect第二代产品停产后,众多基于Kinect做应用开发的公司急于寻找同类的替代方案;公司发布的SDK将有效的弥补现有市场的空缺,满足各合作伙伴的需求。
基于领先的技术和产品,深受客户赞誉和欢迎。上市2年,即获得上百家客户的认可,在娱乐、教育、工业制造、物流等行业得到广泛和高效的应用,协助客户开拓进展。
可登陆公司网站或者淘宝网搜索,查询公司及产品详细信息,以及咨询购买试用。
答:可以的,可以购买我们支持体训动作的版本。在淘宝店铺中可以找到相关版本。
答:有的。SDK包含C++、C#、Java、Unity、Python、C 等调用接口及各语言版本的示例程序,适合零基础的开发者参考。
答:帧率为每秒30帧。鉴于诸多客户在购买其他厂家产品,发现帧数达不到每秒30帧后重新采购我方产品,我方郑重承诺:如果帧率达不到30帧,全额退款!
答:可以的,可以联系客服咨询或购买我们骨骼识别SDK的授权。具体见淘宝店铺中的宝贝介绍。
答:可以的,我们一直有帮助客户定制化开发的业务,并深受好评。可以直接与在线客服联系。