大连人工智能物联网大数据平台研发

离线数据

还有一些数据，对于实时性和有序性的要求都没那么强，分析时数据已经固化，我们称之为离线数据。典型的离线数据包括产品销量数据、景点游客数据等，应用于统计分析，总结盘点等场景，例如，物联网平台将自动售货机上报的销售数据汇总后保存，然后定期使用大数据分析平台分析销售数据，以报表形式呈现给厂家，协助厂家进行销售策略的调整。离线分析的挑战主要在于庞大的数据量，一般会采用分布式处理的方案来提升海量数据分析的效率。

在本文中，我们将为您重点介绍实时分析和离线分析两种方案，时序分析方案我们下次再分享（具有物联网时序分析能力的华为云数据分析服务后续也将上线，敬请期待）。

设备接入服务：设备接入是华为OceanConnect物联网平台对海量设备进行联接、数据采集/转发、远程控制的云服务。可实现海量设备与云端之间双向通信连接、设备数据采集上云，支持上层应用通过调用API远程控制设备，还提供了与华为云其他云服务无缝对接的规则引擎，可应用于各种物联网场景。设备接入服务还可以搭配设备管理服务使用，可实现产品模型定义、设备生命周期可视化管理，提供强大的面向行业应用开放能力，帮助企业快速构建创新的物联网业务。

    数据仓库服务（DWS）：数据仓库服务（DataWarehouseService）是一种基于公有云基础架构和平台的在线数据处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。DWS是基于华为融合数据仓库GaussDB产品的云原生服务，兼容标准ANSISQL99和SQL2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。数据可视化服务（DLV）：数据可视化服务（DataLakeVisualization）是一站式数据可视化平台，适配云上云下多种数据源，提供丰富多样的2D、3D可视化组件，采用拖拽式自由布局，旨在帮助您快速定制和应用属于您自己的数据大屏。

该方案的数据流向如下：

物联网平台将设备上报的数据通过规则引擎功能转发至数据接入服务（DIS）。实时流计算服务（CS）从DIS的通道中获取实时数据，通过SQL语句分析并处理后，再写入另一个DIS通道。DIS以对象存储服务（OBS）为中介将分析结果转储至数据仓库服务（DWS）。数据可视化服务（DLV）读取分析结果呈现为可视化报表。

    数据接入服务（DIS）：数据接入服务（DataIngestionService）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。实时流计算服务（CS）：实时流计算服务（CloudStreamService），是运行在公有云上的实时流式大数据分析服务，全托管的方式用户无需感知计算集群，只需聚焦于StreamSQL业务，即时执行作业。对象存储服务：对象存储服务（ObjectStorageService，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力，包括：创建、修改、删除桶，上传、下载、删除对象等。其中对象是OBS中数据存储的基本单位，用户上传至OBS的数据都以对象的形式保存在桶中，而桶是是OBS中存储对象的容器。

    数据仓库服务（DWS）：数据仓库服务（DataWarehouseService）是一种基于公有云基础架构和平台的在线数据处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。DWS是基于华为融合数据仓库GaussDB产品的云原生服务，兼容标准ANSISQL99和SQL2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。数据可视化服务（DLV）：数据可视化服务（DataLakeVisualization）是一站式数据可视化平台，适配云上云下多种数据源，提供丰富多样的2D、3D可视化组件，采用拖拽式自由布局，旨在帮助您快速定制和应用属于您自己的数据大屏。对象存储服务：对象存储服务（ObjectStorageService，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力，包括：创建、修改、删除桶，上传、下载、删除对象等。其中对象是OBS中数据存储的基本单位，用户上传至OBS的数据都以对象的形式保存在桶中，而桶是是OBS中存储对象的容器。 需要支持边云协同。要有一套灵活的机制将边缘计算节点的数据上传到云端。

    该方案的数据流向如下：物联网平台将设备上报的数据通过规则引擎功能转发至数据接入服务（DIS）。DIS使用对象存储服务（OBS）作为中介，再将数据转储至MapReduce服务（MRS）。MRS从OBS获取用户定制的分析程序包，运行程序分析数据，并保存分析结果（可写入持久化数据库或写成文件）。数据可视化服务（DLV）读取分析结果呈现为可视化报表。实现该方案，您需要进行以下操作：在MRS中创建一个Hadoop分析集群。参考MRS的开发指南开发一个大数据分析程序，实现读取JSON格式的数据分析并处理，然后写入本地数据库或者写成文件存到OBS。程序开发完成后需打包成JAR文件并上传至OBS桶，若您没有OBS桶请创建一个。创建一条DIS通道，然后为该通道创建一个转储任务，将数据转储至MRS的集群。在设备接入服务中创建一条规则，将设备上报数据转发至DIS的通道。将上报数据的设备接入物联网平台（设备接入服务），并控制其上报数据。在MRS中创建一个作业，执行OBS桶中的大数据分析程序。在DLV中创建数据连接从MRS数据库或OBS中读取数据，再创建数据大屏将数据可视化展示。 ***全国智能电表就会产生500多亿条记录。这么大的数据量，任何一台服务器都无能力处理。贵州工程物联网大数据平台诚信为先

必须是实时处理的系统。大连人工智能物联网大数据平台研发

    4.高效缓存需要高效的缓存功能。绝大部分场景，都需要能快速获取设备当前状态或其他信息，用以报警、大屏展示或其他。系统需要提供一高效机制，让用户可以获取全部、或符合过滤条件的部分设备的***状态。5.实时流式计算需要实时流式计算。各种实时预警或预测已经不是简单的基于某一个阈值进行，而是需要通过将一个或多个设备产生的数据流进行实时聚合计算，不只是基于一个时间点、而是基于一个时间窗口进行计算。不仅如此，计算的需求也相当复杂，因场景而异，应容许用户自定义函数进行计算。6.数据订阅需要支持数据订阅。与通用大数据平台比较一致，同一组数据往往有很多应用都需要，因此系统应该提供订阅功能，只要有新的数据更新，就应该实时提醒应用。而且这个订阅也应该是个性化的，容许应用设置过滤条件，比如只订阅某个物理量五分钟的平均值。 大连人工智能物联网大数据平台研发

上海奥畅智能科技有限公司位于上海市普陀区祁连山南路2891弄盛源科技园C311。奥畅科技致力于为客户提供良好的人脸识别，物联网，现实增强，机器人，一切以用户需求为中心，深受广大客户的欢迎。公司从事数码、电脑多年，有着创新的设计、强大的技术，还有一批独立的专业化的队伍，确保为客户提供良好的产品及服务。奥畅科技立足于全国市场，依托强大的研发实力，融合前沿的技术理念，飞快响应客户的变化需求。