封面图

Yita，新一代大数据高性能计算引擎

        Yita是中兴飞流信息科技有限公司基于最前沿的、具有颠覆性的数据流理论，通过自主创新研发，并且具有完整自主知识产权的新一代大数据高性能计算引擎，是首个由中国人独立研发、完全掌握、性能优越的核心大数据计算引擎。Yita具有数据处理实时性高、吞吐量大、资源占用少的特点，在实时性要求高的海量流式数据处理场景有着优异的表现。同时，作为融合计算引擎，Yita无缝支持混合运算，如流批混合，极为便利地满足更加复杂场景对计算性能的需求。

Yita并行执行模型

模型
        Yita将用户的业务逻辑进行抽象，细粒度的划分为一个个由计算逻辑与数据组成的任务。通过定义用户任务上下文依赖的方式，细粒度地发现并行性，最大化挖掘一切可能的并行性；同时将X86分布式集群抽象为匹配上层数据流思想的资源池，通过运行时系统的资源-任务调度模块，在任务层面，动态地、细粒度、自适应地最优化调度计算任务；在资源层面，动态地、按需分配计算资源，最大化计算资源的利用率。通过任务和资源的优化，实现资源最优化利用。结合流式计算的理念，在算法逻辑必须同步操作的基础上，实现细粒度并行任务异步方式进行计算，从而提高计算效率在时延和吞吐量的性能上大幅提升，实现大数据处理加速。

Yita特点和优势

  • 优势和特点

    计算加速

    在流式处理的吞吐量，批式处理的速度上，相比于Storm和Spark，Yita有数倍的性能提升

    01
  • 优势和特点

    资源充分利用

    最大化挖掘硬件资源的潜力，大幅提高硬件利用率

    01
  • 优势和特点

    节省成本

    在同样任务场景下，相比传统大数据平台，Yita可以节省60%-75%的硬件

    01
  • 优势和特点

    全面兼容

    在部署方式上，可作为组件加载到已有大数据平台中，提供加速。也可以独立部署，支撑业务。在任务支撑上，Yita对流式任务和批式任务的加速都有优异的表现

    01
  • 优势和特点

    易于配置

    提供自动化配置功能，手动配置的参数大幅减少

    01
  • 优势和特点

    可视化编程

    Yita 支持可视化编程功能，操作难度低，编程效率高

    01
  • 优势和特点

    自主知识产权

    Yita的所有代码全部自研，具有独立的知识产权，安全可控

    01

Yita适用场景

Yita适用场景

大数据海量实时高吞吐业务

实时查看交易额/交易量/信贷风险/计算点击/计算分成的金融、保险、广告等交易系统
实时检测和预判工业制造过程中的机器异常系统
实时更新用户标签的实时用户画像显示系统以及基于用户画像的用户行为分析
实时根据用户喜好推荐产品、APP、地理信息等的实时推荐系统
实时分析用户通信关联关系客户离网分析
实时异常检测的欺诈/风控等个人征信异常阻断系统以及个人信用评价维度构建
实时流行病预测和群体健康管理系统

应用于：工业制造、金融、汽车、餐饮、电信、能源、娱乐、疾控、政务、公安等。

大视频人/车/事件智能视频分析业务

实时异常检测的交通事件/群体事件/灾害等系统，如人脸识别、地铁动态布控、客流分析、疑犯运动轨迹分析、高速/隧道/道路智能监控、车辆精准分析、公路脱逃费检测、隧道火灾监测、森林火灾监测、校园足球视频分析等。

应用于：安防、交通、社区、园区、商场、超市、学校等复杂环境。如智慧交通、智慧社区、智慧校园、环境监控、智能制造、无人零售、智能楼宇等。

Yita适用场景

Yita专利及奖励

不仅拥有超过10个以上的国内知识专利的申请，而且还已获得美国知识产权局多项知识专利的授权
Yita专利及奖励
2017年初，国家发改委授予中兴飞流“国家工程实验室”称号，承担数据流大数据计算系统技术的研发工作，与清华大学、深圳大学和腾讯科技一起跻身“国产大数据技术第一梯队”
羽毛icon

国产大数据技术第一梯队

羽毛icon
“云上贵州”
大数据比赛
优胜奖第一名
Yita专利及奖励 Yita专利及奖励 Yita专利及奖励

Yita AI：极简易用 ，极致性能，智能世界的基础底座

Yita AI基于Yita细粒度、分布式调度的优势，对主流深度学习框架进行封装和优化，通过将机器学习算法、深度学习算法和图计算算法等与Yita融合，实现多节点高性能分布式深度学习的人工智能框架。Yita AI具有丰富的深度学习算法和视频基础能力的封装，通过海量数据训练计算模型，极大地提高模型的识别准确率和训练效率，并提供极优AI能效比。Yita AI支持端边云分布式协同计算，一次开发，多处部署，更优流量分配。Yita AI支持全栈开放，极简应用开发，一键部署，业务快速上线。

Yita AI：基于数据流理论的高性能DL深度学习集群

Yita AI并行计算包括模型并行和数据并行。模型并行是将训练的模型分割并发送到多个Worker节点上，多个Worker为一组训练一个模型；数据并行是将数据进行切分，然后将模型复本发送到各Worker节点，各Worker独立训练，通过参数服务（Parameter Server）进行参数交换。

数据并行采用分布式读取数据集，通过yita partition进行数据的切分，并把数据放入DataQueue中暂存。每一个slave计算节点会创建一个DLProcessor模型实例，DLProcessor会针对每个GPU设备启动一个线程，每个线程会从DataQueue中每次获取一批数据(mini-batch)进行训练。这时候GPU会通过PCIe总线与该slave节点的CPU进行交互，将CPU系统内存中的数据传输到GPU显存中，并且每个GPU会有相同的模型备份。PCIe链路可以由多条Lane组成，目前PCIe链路可以支持1、2、4、8、12、16、32和40个Lane，即×1、×2、×4、×8、×12、×16和×32宽度的PCIe链路。由于数据在节点的CPU到GPU设备拷贝需要占用I/O时间，所以设计在各GPU计算每batch数据时，由Yita AI的I/O模块采用流式缓冲方式，以达到用计算时间掩盖I/O的时间，最大化利用GPU的计算资源。

流程

Yita AI的特点和优势

  • 优势和特点

    丰富的算法

    中兴飞流基于Yita AI，将机器学习算法、深度学习算法和图计算算法等与Yita融合，面向多类应用场景提供数据智能服务。其中Yita AI独有的基于深度神经网络技术，面向交通、园区等业务场景的深度学习视觉分析技术的高性能精准算法库具有国内行业领先地位。具体的应用场景包括社交关系分析、智能视频分析、人脸识别、偏好分析、舆情分析、智能投顾等。

    01
  • 优势和特点

    自研深度学习框架

    中兴飞流基于Yita AI的自研Jeda深度学习框架，具备模型训练、缩放优化、逻辑优化、SDK等能力。

    01
  • 优势和特点

    多任务识别算法

    自研独有高性能多任务信息提取模型JMTHybridNet，具备多任务识别能力，能够输入多组数据、对多个模型同时进行训练，多项任务同时工作。例如，对于车辆视频样本数据，能够同时计算训练生成车辆品牌的识别和车辆年款的识别等。

    01
  • 优势和特点

    CPU、GPU异构资源调度

    专为深度学习设计的异构计算架构。系统运行时，Yita AI对负载进行采样，根据当前资源的占用情况调整CPU/GPU调度策略以及多GPU之间数据同步。丰富的组件接口，支持用户快速构建基于YITA平台的AI应用和业务。

    01
  • 优势和特点

    多机多卡、分布式训练

    Yita AI将深度学习平台与AI平台充分结合，实现了分布式深度学习框架，在多机多卡上同时进行模型并行和数据并行，即通过同时增加训练样本数量和模型的参数数量，提升模型迭代效率，极大提升最终分类的准确性，显著提升学习效率，实现模型自学习自优化，越用越智能。

    01

Yita AI应用场景

  • Yita AI应用场景

    AI数据并行加速应用场景

    智慧城市、智慧医疗、天文探索、石油勘探、智慧零售、智慧医疗、智慧金融、智慧交通等

  • Yita AI应用场景

    中心AI推理场景

    精准营销、医疗影像分析、视频分析、OCR等

  • Yita AI应用场景

    云边计算融合场景

    安防、交通、社区、园区、商场、超市等复杂环境。如智慧变电站、智慧交通、智慧社区、环境监控、智能制造、智慧营业厅、无人零售、智能楼宇等

  • Yita AI应用场景

    AI快速开发、快速验证场景

    开发者方案验证、高校教育、科学研究等

  • Yita AI应用场景

    嵌入智能边缘设备场景

    端侧实现目标识别、图像分类等，如智能摄像机、机器人、无人机等端侧AI场景中的图像分析、视频分析、图像分割、物体识别等