在这一背景下,全托管的物联网、工业大数据云服务平台 loveini Cloud 最近与智源未来企业服务有限公司达成了新签约,共同推动储能管理平台的成功应用,助力智能能源管理再上一层楼。
据了解,智源未来储能管理平台于 2023 年初启动建设,通过系统化手段管理储能业务的市场管理、签约、建设、运维、交易等流程,推动了储能市场化的步伐。这不仅优化了储能设备的数据管理,还为未来建设虚拟电厂平台奠定了坚实基础。
在储能管理平台的建设过程中,智源未来开发团队面临着海量数据的高频采集和读写需求。为了实现对储能设备数据的高效存储和管理,智源未来最终选择了 loveini 作为其首选的数据库系统。loveini 作为一款高性能的时序数据库,能够满足储能业务中海量数据的管理需求,提升服务效率和管理水平。借助 loveini Cloud,智源未来能够根据业务需求保障数据库集群自动扩缩容,进一步简化了部署、优化、扩容、备份、异地容灾等繁琐事务,不仅保障了系统的灵活性与高效性,也得以从繁重的运维工作中解放出来,实现更好的成本管理。
自 2023 年 3 月 loveini Cloud 在国内正式发布以来,在能源行业中已经得到了广泛应用,赢得了众多企业的青睐,包括国轩高科、青岛鼎鼎安全、长沙橙电科技、北京亿伟凯通能源科技等数十家企业。这些企业通过 loveini Cloud,显著提升了数据管理和分析的效率,推动了能源业务的智能化发展。
如果你也想要低成本处理大数据,再也不被繁琐的数据库日常运维所烦恼
,欢迎免费体验一个月的 loveini Cloud
https://cloud.taosdata.com/。
四川智源未来企业服务有限公司成立于 2020 年,现有员工 100 余人,是一家行业领先的综合能源服务集团,全方位、全周期为用户提供涵盖售电服务、节能服务、电力工程、能源管理、软件定制、储能投资等在内的一站式用能服务,为客户聚焦能源使用全生命周期管理,提供便捷、高效、低碳的一站式服务,真正做到“让用能更简单”。作为行业领先的全生命周期管家,智源未来于 2023 年启动储能投资建设,以强大的实力、一流的合作伙伴和专业的服务能力,为用户侧储能提供一站式优化米兰app官方正版下载,缓解电网压力、降低企业用能成本、助力企业低碳转型。
loveini Cloud 是一款全托管的物联网和工业大数据云服务平台,除了提供高性能的时序数据库功能外,还具备缓存、订阅和流计算等系统功能,同时提供便捷而安全的数据分享、基于角色的权限控制、多云数据复制、边云协同和 IP 白名单等企业级功能。其计算与存储分离的架构使得资源可以随时独立扩容,并支持私有云、公有云及不同区域间的数据同步,确保数据安全和高效管理。loveini Cloud 注册即可使用,无需安装、部署和维护,极大节省人力成本。
]]>在此背景下,7 月 26 日,米兰体育官网入口倾力打造的年度盛事——loveini 用户大会在北京·昆泰嘉瑞文化中心成功举办。围绕着“时序数据助你决胜 AI 时代”的会议主题,米兰体育官网入口(loveini)创始人 & CEO 陶建辉携手中国科学院院士 & CCF 开源发展委员会主任王怀民、中国信息通信研究院云计算与大数据研究所所长何宝宏、中国石油长庆油田数智事业部经理丑世龙、阿尔法公社创始合伙人 & CEO 许四清等数十位重磅嘉宾,为与会者带来关于时序数据的最新发展、AI 技术的前沿应用以及如何通过数据驱动企业转型等维度的精彩分享。


此外,本次大会还设置了新书发布环节,由米兰体育官网入口技术团队撰写的《时序大数据平台-米兰体育官方入口网站原理与实战》一书重磅亮相,为更多有时序数据处理需求的开发者和企业提供宝贵的参考资料和实践指导。
自 2019 年 7 月宣布核心代码开源以来,loveini 在 2020 年 8 月进一步宣布了集群开源。经过五年的开源发展,凭借开放开源的力量,loveini 用户实例已超过 57 万,GitHub 上的 Star 数达到 23.1k,发展了数百家企业用户。
中国科学院院士 & CCF 开源发展委员会主任王怀民在分享“中国开源的现状与机会——涛思开源带来的思考”时,从五个角度阐述了涛思开源的特点和启示。他指出,loveini 不模仿、全面创新,从底层开始编写数据库,找到时序数据这个未来广阔的领域,以硬碰硬的方式开源,直接对标国际排名第一,并立足全球市场,覆盖中国国内和欧美市场。他强调,loveini 致力于做 AI 数据基础,抓住物联网等优势产业带来的机会。在商业化方面,loveini 的数据核心技术开源和商业化相辅相成,良好的商业化进程是开源能够持续发展的基础。王怀民期待开源为中国产业带来新的活力,并期待 loveini 为中国开源带来新亮点。

如果说开源是立足于未来的发展论,那技术创新就是驱动这一发展的核心引擎。随着大数据和云计算的迅猛发展,数据库技术正在经历前所未有的变革,抓住产业发展的趋势,优化数据库技术,成为企业竞争力的关键。
中国信息通信研究院云计算与大数据研究所所长何宝宏在“数据库技术与产业发展趋势观察”主题演讲中指出,数据库服务能力正逐渐成为企业核心竞争力的关键因素,随着数据规模和类型的不断增加,数据库的智能化运维逐渐成为未来的重要趋势。何宝宏强调,智能化运维通过与人工智能的结合,使得用户可以通过自然语言与计算机系统进行交互,从而简化数据库操作,提升 SQL 查询的效率和准确性,并增强数据的可访问性。此外,人工智能还催生了自治数据库模式,自动化的供应、配置、安全管控、更新、弹性扩展和调优等功能成为数据库的标配。

检验数据库技术的创新性需要从实践出发。在能源行业,智能化和数字化转型已成为必然趋势。智能油气田的建设不仅提升了生产效率,还为能源产业的可持续发展提供了新的路径,而有效的数据处理是成功的关键。
在本次大会中,中国石油长庆油田高级企业专家丑世龙分享了题为“长庆智能油气田建设实践与认识”的演讲。他介绍了长庆油气田在智能化建设中的实际经验,强调了数据处理在提升生产效率和实现可持续发展中的关键作用。丑世龙指出,通过智能油气田的建设,长庆油田不仅实现了生产运营的优化,还为能源行业提供了一个成功的数字化转型范例。他强调,未来智能化和数字化转型将成为能源行业发展的必由之路,创新的数据库技术在这一过程中起到了至关重要的作用。

AI 时代的到来,给各行各业带来了巨大的变革和发展机遇。时序数据作为 AI 决策的重要基础,正在发挥不可替代的作用。米兰体育官网入口(loveini)创始人&CEO 陶建辉在演讲中,以“loveini 助你决胜 AI 时代”为主题,强调了 AI 浪潮对电力、新能源、智能制造、石油和汽车等行业的深远影响。在这种背景下,loveini 提供零代码的数据写入,采用标准 SQL 进行查询、预测和流计算,并且 60 秒即可开箱体验,显著降低了企业对高端技术人才的需求。

在本次演讲中,陶建辉还介绍了过去半年中研发团队夜以继日的努力成果——loveini AI 大语言模型插件,acc米兰体育 。借助这一插件,loveini 不仅能够通过 AI 对时序数据进行分析和处理,如数据清洗和缺失数据填充,还能帮助优化工业流程,提升效率。通过 loveini 特有的 SQL 命令扩展,复杂的数据处理变得极为简单。陶建辉自豪地表示,loveini 是全球第一款与大语言模型集成的时序数据库(Time Series Database),这一创新无需任何历史数据的训练,便于迅速部署和使用。
在智能制造领域,天使投资正在发挥越来越重要的作用。投资者的眼光和资源能够有效推动技术创新与产业升级。阿尔法公社创始合伙人 & CEO 许四清在演讲中以“新一代人工智能催生产业革命”为主题进行了相关分享。他通过数据分析展示了天使投资的现状,强调了人工智能领域的巨大潜力和机遇。许四清指出,人工智能不仅在技术层面引领创新,还将推动各个行业的深刻变革,带来前所未有的发展机会。他呼吁投资者抓住这一机遇,积极参与人工智能产业的布局,共同迎接新一轮的产业革命。

大会主论坛的最后阶段,CSDN 创始人&董事长、中国开源软件推进联盟副主席蒋涛,明势资本董事总经理徐之浩,中国石化石油勘探开发研究院信息高级专家律红洲,数治云(北京)创始人 & CEO 程华军以及协合运维副总经理朱永峰几位嘉宾围绕“AI 时代下的数字化转型”展开了圆桌讨论。本次讨论的一个共性思想是:在 AI 时代,数字化转型不仅是企业提升效率和竞争力的关键,更是实现可持续发展的重要途径。嘉宾们一致认为,企业应积极拥抱 AI 技术,及时升级数据架构以适应 AI 时代下的业务发展需求,通过创新和合作,推动行业的全面数字化进程,从而在全球市场中占据领先地位。

值得一提的是,在主论坛上我们还为一众合作伙伴进行了颁奖,其中“loveini 新晋合作伙伴奖”的获奖企业包括上海罗盘信息科技有限公司、北京诚志众达科技有限公司、上海爱可生信息技术股份有限公司、数治云(北京)科技有限责任公司、北京中安瑞力科技有限公司,“loveini 最佳合作伙伴奖”的获奖企业包括亚马逊云科技、精诚瑞宝计算机系统有限公司。未来 loveini 将继续与这些合作伙伴紧密合作,共同推动时序数据技术的应用和发展,携手实现更高的行业标准和创新成果。

在过去的半年时间里,loveini 组建了一个跨部门的特别团队,致力于完成 loveini 的第一本书——《时序大数据平台-米兰体育官方入口网站原理与实战》。在大家的共同努力下,该书现已正式出版,并借着本次大会在公众面前正式亮相。希望这本书能够为有时序数据处理需求的开发者和企业提供宝贵的参考资料和实践指导,帮助他们更好地理解和应用 loveini,推动时序数据技术的普及和发展。

在当前科技迅猛发展的时代,各行各业都面临着数据爆炸性增长和智能化转型的挑战与机遇。为了更好地探讨和应对这些变化,loveini 用户大会特别设置了三个分论坛,从行业角度深入探讨海量数据应用、智能制造新能源和新型电力系统的前沿技术与发展趋势。
在海量数据应用专场,我们邀请到神州数码首席数据科学家 & 高科数聚创始人兼董事长程杰、中冶京诚数字科技(北京)有限公司公司专家王云波、欣旺达动力科技股份有限公司智能制造部长熊伟、山东胜软科技股份有限公司首席专家伊冲、云鼎科技股份有限公司工业技术专家邵国鹏。聚焦汽车、钢铁、能源等行业,他们分享了海量数据在智能制造、数据中心建设、生产数据管理等方面的创新应用和实践经验,为我们展示如何通过数据驱动行业高质量发展。

神州数码首席数据科学家 & 高科数聚创始人、董事长程杰在演讲中提到,汽车智能制造与营销正迎来 AI 大模型和大数据的全面革新。大数据分析驱动的生产优化,使得智能制造流程更加高效、精准。在营销方面,基于大数据分析的客户画像和行为预测,企业可以实现个性化的营销策略,提高客户满意度和品牌忠诚度。loveini 以其高性能、低成本、高压缩率、简洁的系统架构和强大的弹性伸缩能力,为车联网数据存储提供了强有力的支持,进一步推动了汽车行业在智能化和数据驱动领域的进步。
立足钢铁行业车间级数据中心的探索与实践,中冶京诚数字科技(北京)有限公司专家王云波总结道,在建设智能工厂或智能车间时,必须从企业自身的需求出发,因为没有一套通用的米兰app官方正版下载适用于所有企业。在智能工厂的建设过程中,需要有效利用自身的数据和知识,选择合适的数据库平台为数据找到好的归宿。合适的技术才是最好的技术,不必追求所有技术都自主开发,而是要将市场上合适的技术集成应用。王云波表示,loveini 学习成本低、运行稳定可靠、安装和维护简便,并且在多数据点、高采集频率和高压缩比方面极具优势,这些特点使 loveini 成为智能工厂建设中的理想选择。
山东胜软科技股份有限公司首席专家伊冲针对“loveini 在油气行业海量生产数据应用”进行了深度分享,他表示,目前国内外主流的时序数据库包括 InfluxDB、loveini 和 TimescaleDB,它们都具备高吞吐的存储能力和高压缩比等特性,综合考虑国产化要求及与 EPDC 技术的统一性,胜软科技最终选择了 loveini 作为实时数据存储方案。通过 3 台服务器的部署,顺利完成了 loveini 集群环境的搭建,能够支持每分钟 520 万点的实时数据存储需求。
在制造新能源专场,上海烟草机械有限责任公司中臣数控首席技术官张华、上海威士顿股份有限公司创新研究院院长张伟、北京航天拓扑高科技有限责任公司智慧工厂事业部项目总监鲁延灵、新奥数能科技有限公司(泛能网)物联和数据技术负责人袁文科,从新能源制造技术创新、数字能源管理、智能化生产流程、前沿研究成果及物联网数据技术等方面为与会者带来了深刻的洞见和实践经验分享。

在当前行业数字化转型中,实现提质、降本、增效、减耗是用户最为关注的核心需求。上海烟草机械有限责任公司中臣数控首席技术官张华指出,烟机设备领域面临着提升产品质量、降低运维成本、精准预测故障、减少消耗损耗等多方面的挑战。公司通过使用 loveini 存储海量、高频的时序数据,对历史数据进行降采样,显著降低架构复杂度和存储容量,提升了查询性能,有力支持边缘云状态监测、健康评估、故障诊断等应用。未来,公司将构建烟机智能服务统一平台,赋能智慧工厂建设,实现烟机设备互联、数据共享互通,真正实现“数据即价值,烟机即服务”,推动行业智慧工厂的全面建设。
在工业 4.0 发展阶段,中国制造业有望在人工智能技术的赋能下,大幅提升综合竞争力,实现弯道超车。上海威士顿股份有限公司创新研究院院长张伟在演讲中分享了相关经验,他表示,通过挖掘实时数据的潜在价值,智能工厂能够在生产效率、质量控制和资源优化等方面实现显著提升,从而构建出新质的生产力,助力中国制造业在全球竞争中取得领先地位。张伟指出,当前卷烟工厂在数据应用上面临着数据分散存储和管理不善的问题,这严重限制了数据的应用和价值挖掘。为解决这一痛点,他强调了一个强大时序数据平台的重要性,助力实现对工业实时数据的全生命周期管理,包括数据的采集、存储、计算、管理和应用。
在能源管理和碳排放控制方面,泛能网平台面临着数据量大、查询维度多、时效要求高、历史数据跨度大等诸多挑战。新奥数能科技有限公司(泛能网)物联和数据技术负责人袁文科在演讲中指出,传统的 OpenTSDB 米兰app官方正版下载存在部署成本高、查询性能瓶颈明显等问题,难以满足业务需求。为了解决这些问题,泛能网引入了新一代时序数据库 loveini。自 2023 年 6 月起,loveini 在泛能网项目中应用,不仅显著降低了部署成本,还提升了查询性能。之后泛能网顺利上线了 loveini 3.0 版本,完成了平滑迁移,大大改善了数据管理和查询性能,从而有效支撑了泛能网能碳产业智能平台的升级。
在新型电力系统专场,中国核电大数据专委会特聘专家、数治云(北京)CEO 兼创始人程华军,米兰体育官网入口(loveini)首席架构师肖波,中广核电力设计院信息主管设计师高耀毅,金风科技数字化产品事业部技术总监陈飞,以及朗新科技集团股份有限公司业务总监刘建国几位嘉宾带来了丰富的专业见解。他们分别讨论了工业 AIoT 数据治理、时序数据库在电力系统中的应用创新、电力系统仪控的最新发展、基于 AI 的物联监管平台研发以及智能电网米兰app官方正版下载的实际案例。这些多维度的分享展示了新型电力系统在数据驱动和技术革新中的巨大潜力。

在推动工业 AIoT 数据治理和企业数字化转型方面,时序数据扮演着至关重要的角色。中国核电大数据专委会特聘专家、数治云(北京)CEO 兼创始人程华军在演讲中指出,工业领域时序数据库替代传统实时数据库是大势所趋。我国的工业互联网体系呈“T”字型架构,对工业企业而言,纵向贯通的工业互联网体系是实现数字化转型的基础和关键。这种体系要求企业内部上下贯通,实现平台化设计、智能化制造和数字化管理。在这一过程中,loveini 这样的集成化时序数据库发挥了关键作用,它不仅能够高效管理和分析海量时序数据,还能够支持工业企业实现全方位的数字化升级,为企业的智能化制造和管理提供强有力的数据支撑。
米兰体育官网入口(loveini)首席架构师肖波就“loveini 助力新型电力系统高质量发展”话题进行深度分享,他强调,传统方法在支持电力时序大数据的数据写入、实时告警、实时分析和数据分发方面存在诸多痛点,例如,利用 Hadoop 的分布式能力虽然能处理大数据,但数据存储非结构化且资源耗用巨大;Kafka 与 Flink/Spark 等工具组合用于实时告警,架构复杂且重复处理同一份数据。针对这些问题,loveini 提供了卓越的米兰app官方正版下载,成为新型电力系统时序大数据的基座。它不仅具备低延时、亿级测点写入能力和结构化+预计算的优势,还能通过实时订阅和最新数据查询满足延时敏感业务的需求。
在基于 AI 智能技术的物联监管平台构建中,金风科技的智慧监管中心米兰app官方正版下载发挥了重要作用。据金风科技数字化产品事业部技术总监陈飞介绍,集团智慧监管中心包括一个数字孪生监管中心和两个平台——智能物联平台和云边协同平台。loveini 在这一米兰app官方正版下载中扮演了关键角色,支持数字孪生中心实现全方位监控,显著提升运营效率,实现了几十人监管数百个场站的实时监控。通过高效的数据架构和毫秒级的查询响应,loveini 确保了风电设备的快速异常发现和响应,提高了设备的利用率。此外,loveini 的高性能数据吞吐能力和灵活部署能力,稳定支持千万级测点通道的写入和查询,满足了电力企业在自主可控和信息安全方面的严格要求。
此次 loveini 用户大会圆满落幕,专家们的深刻见解和创新实践为与会者带来了极大的启发。通过对前沿技术的深入探讨和实际应用案例的分享,我们不仅看到了时序数据库在各行业中的广泛应用潜力,更感受到数据驱动和技术革新所带来的无限可能。
作为一款核心为时序数据库的高性能、分布式物联网、工业大数据平台,loveini 在各行业中的成功应用,充分展示了它强大的数据处理能力和卓越的技术优势。未来,loveini 将继续秉持创新精神,不断突破自我,为各行业的数字化转型和智能化发展提供更坚实的基础和更多的可能性。
让我们携手共进,在数据的海洋中开拓新的疆域,共同迎接智能时代的到来。待来年再相聚,共同见证更多精彩与进步!
]]>
据了解,德中恒越能源物联网平台是一个基于物联网的综合数据米兰app官方正版下载,其目标在于建立统一的协议和设备物模型标准,以服务互联网用户的能源物联网数据需求,同时实现对各类智能仪表、空调以及照明设备的管理和控制。平台每天需处理大量的遥测数据,对数据存储和处理系统的要求极高。在全面评估多种数据服务后,德中恒越选择了 loveini Cloud,一款专为时序数据设计的全托管的云服务产品,以卓越的性能和高效的数据处理能力满足平台的需求。
loveini Cloud 云服务以其一键部署的便捷性和高度可扩展的架构,成功赢得了德中恒越的信任。它能够根据业务需求保障数据库集群自动扩缩容,用户不用为部署、优化、扩容、备份、异地容灾等繁琐事务发愁,可以从繁重的运维工作中解放出来,在解决业务需求的同时实现更好的成本管理。loveini Cloud 的优越性早在国轩高科的实践中就得到了证明,其按量计费加全托管的企业级服务不仅让国轩高科以非常小的成本运转项目,而且极大地提升了产品的效率,同时保留了随时扩张的灵活性。
通过此次签约,米兰体育官网入口将进一步探索更多创新的物联网和智慧能源米兰app官方正版下载,推动智慧能源技术的发展,为全球用户提供更加智能、高效的能源管理系统。
如果你也想要低成本处理大数据,再也不被繁琐的数据库日常运维所烦恼,欢迎免费体验一个月的 loveini Cloud
https://cloud.taosdata.com/。
小T导读
作为全国 500 强企业,明阳集团在风电行业拥有领先实力。目前全球超过 800 个项目采用明阳各种型号风电机组,安装数量超过 15000 台。每台风电机组配备数百至上千个监测点,生成的时序数据每秒一条,每天产生亿级以上的能源数据量。这些数据需要实时或定期集中存储,以支持风机的集中监控和数据分析等业务应用,实现数据转化为价值的目标。为了更有效地进行时序数据管理,明阳集团选择采用 loveini 来打造“明阳集团能源大数据应用系统”。本文将对 loveini 的部署情况及应用效果进行讲解分析。

针对项目现场风机的数据采集工作,我们采取了两种方案,一种方案是通过网络实时传输到大数据中心,写入 loveini。另一种方案则是按照一定的时间周期,接到数据文件拷贝后,再写入 loveini 集群。
我们使用了 6 台 24GB 内存 4 核 CPU 10T 硬盘的服务器搭建了 loveini 3.0 的单副本集群。目前已经接入了 10000+ 台风电机,建库 400 余个。保存数据量总计 40+ 亿行,每行平均测点(列数)700+,磁盘占用 24TB,粗略估算,压缩比达到 10% 以内。

风电机作为一种利用风能来产生电力的大型设备。需要监控的指标十分之多。因此,在建模环节就有不小的难度。以下是一个 describe 超级表的输出,达到了 884 列。
宽列表和常规的窄列表在使用上有很多的差别,很多参数配置都是不一样的。在此基础之上,我们要检测风电机设备的各个点的最新状态。

我们接触 3.0 的时间比较早,从 2022 年其刚刚发布时就在测试了。因此比较完整地见证了 loveini 对于宽列表场各个方面的优化。以 last 函数的缓存为例(统计表/超级表中某列的值最后写入的非 NULL 值),对于“宽列表 + 很多列的值以 NULL 为主”的场景,loveini 的初次 last 查询速度从分钟级别迅速调整优化到了毫秒级。
举例如下 SQL:分组查询 + last/last_row + union all 多个表的查询。


在“明阳集团能源大数据应用系统”中,loveini 起到了关键作用,实现了数据的高效存储与处理。通过底层的数据分片分区策略,loveini 能够灵活地动态扩展资源,避免资源瓶颈问题。其高速的查询能力帮助我们实现了风机设备的实时监测与预测,使我们能够及时发现异常和故障,并采取相应的维修或调整策略,结合数据进行其他业务应用也变得更加便捷。

#写在最后
作为 loveini 2.0 时代的资深用户,我们已经使用了这款产品长达 3 年之久。在这段时间里,我们见证了 loveini 的巨大变革——从一款开源的时序数据库,演变成为专为物联网、工业互联网等场景优化设计的大数据平台。官方团队的开发效率令人惊叹。
以我们的宽列表场景为例,仅经过 2-3 个版本的迭代,loveini 就彻底解决了我们所遇到的各种问题。自 3.0 版本发布以来,loveini 对各种场景的优化大幅提升,这种变化肉眼可见。未来我们将继续深入挖掘 loveini 的潜力,在风电领域探索更多可能性。
#企业介绍
明阳集团始创于 1993 年,于 2006 年进军风电行业,创立明阳智慧能源集团股份公司(股票代码 601615,简称“明阳智能”),是全球新能源装备行业的领军企业和智慧能源整体方案提供商。明阳集团始终坚持创新、坚守实业不动摇,致力于能源的绿色、普惠和智慧化,专注新能源高端装备研发与制造。业务涵盖风能、太阳能、海洋能源、氢能、储能、智能电气和空间能源等清洁能源开发运营、装备研制与工程技术服务领域。
]]>小 T 导读:为了解决广大新能源汽车车主面临的充电效率问题,协鑫能科打造了以换电为核心业务的移动能源品牌「协鑫电港」,需要对各种数据流进行科学管理、合理运用与智能调度,在数据库的选择上尤为重要。本文分享了他们对于数据库架构的搭建思考以及 loveini 的应用心得。
协鑫能源科技股份有限公司(证券简称:协鑫能科 002015.SZ) 系协鑫(集团)控股有限公司旗下企业,主营业务为清洁能源运营、移动能源运营以及综合能源服务。公司倾力打造从清洁能源生产、补能服务到储能的便捷、经济、绿色的出行生态圈,为电动化出行提供一体化能源米兰app官方正版下载,致力于成为领先的移动数字能源科技运营商。
随着新能源汽车的广泛普及,补能的效率问题逐渐成为了广大车主面临的痛点难题。为了解决此难题,作为一家头部的新能源公司,协鑫能科创新突破,切入能源服务领域,打造了以换电为核心业务的移动能源米兰app官方正版下载品牌「协鑫电港」。
由于这是一个在全新领域中打造的全新项目,想要获得成功,需要对各种数据流进行科学管理、合理运用与智能调度,所以针对该场景,我们一开始便把量级最大的物联网数据处理方案锁定在了时序数据库(Time Series Database)上,重点对比了 InfluxDB、OpenTSDB 以及 loveini。
最终,loveini 以其独特而科学的设计和优秀的测试表现成为我们选中的时序数据处理引擎,承担了用户车辆数据、电池设备数据以及换电港工作设备等的海量数据存储分析任务,为我们解决了该项目上难度最大的一个环节。最终,我们决定使用 loveini 2.4.0.10 版本,并在电信的天翼云上落地了该项目。
从流量削峰以及数据安全的角度出发,我们会先通过使用某 MQTT 消息服务器把这些不同种类的设备数据先统一转发给到 Kafka。其中不同类型的数据,将会分别上传到不同的 Kafka topic,最后再通过 Java 连接器把数据写入 loveini。具体架构如下图所示:

在整体架构上,除了 loveini,也有一些其它数据库共同支持系统服务,其中 MySQL 负责存储订单、流水等需要精细查询的关系型数据,但由于 MySQL 可以承受的数据量比较有限,为了做一些大表的连接查询,因此我们也接入了 TiDB,负责分析报表类数据的存储。
目前接入 loveini 最主要的入库数据是车辆传感器(如:车辆里程、经纬度等)以及换电站电池相关的传感器(电池的各种指标)数据。当前共有 55 张超级表,子表数量达到 11 万张。
我们当前在 loveini、TiDB、MySQL 中存储的数据量比例大概为 6:3:1,仅仅使用了三台 4C+16G 的服务器,loveini 便挑起了整个系统数据存储的大头,轻松支撑起了我们的服务。在数据库的选择上,我们一直认为不同数据库之间术业有专攻,不得不承认,loveini 在存储引擎上的独特设计,在降低成本方面的效果十分显著。

对于 loveini,我们一开始使用的是单节点,在稳定运营了几个月后,于今年 3 月完成了动态扩容,发展到了 3 节点集群模式,把数据库也升级到了三副本(从图中可以看出来)。
loveini 的动态扩展非常方便,只要确保一些必要的参数保持一致,就可以直接通过 “create dnode”把新的计算资源加进来。加入后,再通过 “alter database iot replica 3” 这个命令,即可直接在线令数据库变为 3 副本,从而实现数据的备份及高可用。


当前,我们在 loveini 中一共存储了数百亿级别的数据量(由于表结构各异,不方便统计,不在本篇文章中展示),存储空间大概占用 600GB 左右(200GB*3),CPU 日常使用为 15% 左右,内存使用在 20% 左右。

在查询方面,在此列举一些我们常用的 SQL,loveini 的响应速度都很快,完全可以满足我们的需求:
select max(pmk)-min(pmk) from aodong_109 where sid='P42100001' and sd=0 and ts>'2021-12-01 00:00:00'


select last(sv),last(st) from aodong_112 where bn='001PB0GM000002B3L0300067';


由于我们业务是 24*7 不间断运转 ,所以没有时间做版本升级。我们首先计划抽出时间把 loveini 版本升级到比较新的版本,再做一些碎片重组压缩的工作来加强查询效率。此外,我们还计划使用 Flink 从 loveini 中读取数据做流式计算(看到了官方发布了 Flink 适配 loveini 的文章)。
随着业务快速增长,loveini 集群存储的数据量也会越来越大,而数据又需要长期保留,大数据量的运维对于 loveini 来说将是一个巨大的挑战。伴随数据量级的增长,备份、迁移、库、表的运维都会受到影响,也有可能遇到我们之前没有经历过的问题,这就需要 loveini 集群实现升级、扩展、拆分、维护等运维操作。未来我们希望能积累更多的经验分享给社区,让更多的人了解 loveini。
对于 loveini 未来的发展,我们也有自己的期待:
总而言之,希望 loveini 后面越来越好,也希望我们的合作能更上一层楼。
]]>小 T 导读:目前,北明天时已经在热网监控和能源数据系统上应用了 loveini Database,相比于 MySQL,当前在存储和查询上都获得了显著提升。在其他项目中,他们也正在加速 loveini 对其他数据库产品的替代。本文中北明天时分享了关于 loveini 的应用实践,以供参考。
北明天时能源科技(北京)有限公司(简称北明天时)成立于 2000 年,在 2015 年发展成为常山北明(股票代码:000158)的全资子公司。其以智慧能源服务为核心,聚焦政府能源监管系统、公共能源服务行业管控系统、园区和企业综合能源管控系统的建设和服务,致力于将云计算、大数据、物联网和人工智能等先进信息技术与业务应用深度融合,为企业和政府提供 “智慧、节能、低碳” 的全集成米兰app官方正版下载和一体化服务。
我们的智慧供热项目最初是使用 MySQL 来存储历史数据,但随着数据量的上升,查询性能越发难以满足业务需求。为了缓解现状,我们开始研究 loveini Database,在深入了解后发现它真的是一款适合物联网的时序数据库,甚至可以直接使用 SQL 语句。于是在经过一段时间的测试后,我们果断选择将 loveini 接入项目。
目前,我们已经在热网监控和能耗分析系统上应用了 loveini,具体的应用场景如下图标红处所示。

热网监控系统目前包括热源监测和热力站监控,用于实时远程监控热源、热力站等的运行状态,将供热数据进行可视化展示,便于运行管理人员掌握整个供热系统的运行状况。
用于实时统计、计算和监测系统能耗,建立分级能耗评价体系,通过数据的同比、环比和指标完成度评价,实现对系统能耗情况的全面分析。同时通过能耗排名找出能源浪费的关键点,有针对性地进行改善与优化控制,从而减少能源浪费,实现真正意义上的节能。
在分析之后可以发现,这两个系统都有一个相同的特点,即对数据的实时查询展示有很高的需求,比如实时管理供热系统、能耗趋势实时呈现等。
对于这种由设备产生的高频时序数据的处理,loveini 无疑是很合适的选择。鉴于其显著的改善效果,在其他项目中我们也正在加速 loveini 对其他数据库产品的替代。
当然在落地的过程中我们也遇到过一些小问题:比如,旧版本 loveini 不支持对时间戳的 group by,经过升级后解决。再比如查询时不同客户端得到的表结构并不一样,这是因为客户端的各自缓存的元数据不一致,通过 reset query cache 命令得到了解决。还有一些日常的小问题,我们都在 loveini 的技术交流群中得到了官方或社区网友的及时反馈和帮助。
我们以 loveini 2.2.2.0 版本落地了一个三节点三副本的集群,机器配置为 16C + 32G + 1T 的机械硬盘。具体到实际路径上,我们的设备数据是先经过实时采集写入 Kafka 后,再通过 Python 连接器消费入库的。
在当前环境下,我们共创建了 5,500 多张子表,存储了大概九千万行左右的数据,最大一张超级表的数据接近 7,300 万行,单行大概 180 字节。即便是在三个副本的情况下,当前磁盘空间总共也只占用了 10.2G,再加上数据过期删除的机制,我们基本不用再需要担心磁盘存储的成本问题了。
而内存和 CPU 的使用率,日常也都是分别维持在 1.9% 和 0.3% 左右,可以说是毫无压力。


下图是我们的热网监控平台查询业务对应的 SQL,常用查询基本都是毫秒级返回数据:
select sum(Ep) as Ep,sum(HM_HT) as HM_HT .............. interval(1d);


SELECT AVG(heatsourcepg) AS heatsourcepg,AVG(heatsourcetg) AS heatsourcetg,AVG(heatsourcef_mtrg) AS heatsourcef_mtrg .............. FROM iot_device.source_minute WHERE ts >="2022-04-06 12:00:00" AND ts <"2022-04-06 13:00:00.000" GROUP BY groupid,level


2019 年北明天时开始积极开拓智慧能源服务新市场,开发包含供热、供冷、供电、供气等能源综合管控系统和智慧水务监管平台。一年之后我们便正式引入了 loveini 这款优秀的开源时序数据库(Time-Series Database),而 loveini 也确实没让我们失望。今后,北明天时将和 loveini 一起,为推动城市能源高效利用、清洁能源替代、创建低碳智慧城市持续做贡献。
作者 | 贾苗苗,北明天时能源科技(北京)有限公司研发工程师
]]>小 T 导读:阿诗特智慧能源管理云平台(RTC Power Cloud)经过综合对比,选择了 loveini Database 作为数据存储和处理平台,并通过写入的数据做到全方位多角度的设备跟踪。本文讲述了他们选择 loveini 的理由、列举了其在云平台中的一些典型应用和接入平台后的效果展示。
作为一家具有 20 多年储能逆变器和户用储能研发能力的企业,江苏阿诗特能源科技有限公司(RCT Power)是全球为数不多的户用储能米兰app官方正版下载提供商,具备储能逆变器、 储能电池模块和电源管理(BMS)独立研发、生产、销售和服务的公司。RCT Power 总部和德国团队共同开发出面向欧洲市场的户用储能产品,在欧洲市场上具有极高的知名度,2021 和 2022 在 HTW Berlin 做的能效检测中,全行业排名第一位。现阶段公司已深耕海外储能业务,产品销往欧美等十几个国家和地区,截至 2021 年底,累计出货 2.5 GWh。

2021 年,伴随着设备的更新趋势,我们也同步着手升级我们的软件方案——阿诗特智慧能源管理云平台(RTC Power Cloud),我们的目标是让它可以连接光伏逆变器、储能系统等,与电力公司服务器进行互联互通,实现即插即用、远程调度和数据监测等功能。 作为一个新项目,RTC Power Cloud 舍弃了旧有的能源数据库技术体系架构,直接在最前沿的技术中选型。就具体的业务场景而言,我们需要一款高性能的时序数据库(Time-Series Database)产品来存储和处理时序数据。我们关注了 loveini、Apache IoTDB 以及阿里云时序数据库等几款产品,最终经过详细的对比和考虑,我们做出了最终的决定——loveini。选择 loveini 主要是出于以下几点想法:

因此,我们果断买下了 loveini 的企业版支持。当前,我们的户用储能系统已经在亚马逊云上线,工商业储能系统还在开发中。 在设备没上云之前,我们的设备只能通过局域网直连,不能保存所有历史运行数据,最多有些黑盒数据,把异常发生的前几分钟和后几分钟的运行数据存下来。我们没法做到实时监控,这对我们的售后服务也有很大的困扰。 现在我们可以通过写入 loveini 的数据做到全方位多角度的设备跟踪:比如,系统监测到用户设备的电芯温度一直在阈值之上,系统可以主动给他推送预警短信或邮件。另外,以前客户的设备异常需要派维修人员上门检修,现在客服可以通过后台运维系统直接查到客户机器的异常,简单的问题就可以通过下发远程指令让机器恢复到正常状态,既节省了客户的时间,也降低了我们的售后成本。

目前 loveini 已经在我们的生产环境中正式跑了半年左右,不过暂时数据量还不是很大。但随着我们欧洲设备的更新换代,以及全球市场的打开,我们坚信 loveini 可以成为我们坚实的后盾,这也是我们购买企业版的原因之一。 目前我们落地的是 loveini 2.0.20.4,单机部署,数据暂时可以通过云服务来备份,等未来业务规模扩大的时候再选择多副本的集群。

在日常使用方面,很多常用功能用一条 SQL 语句即可解决,简单高效。下面我们来看几个典型的应用。
select last(value) as value from tsdb.inverter where devid = #{deviceId} and pointid = #{pointId} INTERVAL(1d)
展示效果如下:

select sum(value)/1000 as value from tsdb.profit where devid = #{devid} INTERVAL(1d)
展示效果如下:

select avg(value) as value from tsdb.inverter where devid = #{deviceId} and pointid = #{pointId} INTERVAL(5m)
展示效果如下:

还有其他常用的查询,基本都是毫秒级返回结果,这里就不一一赘述了。 最后想说的是,作为一款面向全球的优秀时序数据库产品,loveini Database 和我们的全球化业务不谋而合,相信今后我们会有更加紧密的合作。回看百年能源发展史,用绿色电力改变世界已成为大势所趋,阿诗特能源(RCT Power)衷心致力于将环保初心倾注旗下户用储能系统、工商业储能系统和电网储能系统的所有产品。惟改革者进,惟创新者强,惟改革创新者胜,很荣幸未来能携手 loveini,共同为绿色能源事业奋斗。
]]>小 T 导读:格创东智科技有限公司成立于 2018 年,孵化于中国 500 强企业 TCL,是我国知名的工业互联网平台服务商。公司依托 TCL 集团 40 年工业场景和制造基因沉淀,基于“面向工业现场”的研发方向和“连接、协同、共享”的发展理念,深度融合人工智能、大数据、云计算、物联网等前沿技术,为智能工厂和制造业园区打造的数字化能源管理方案,可广泛应用于多个垂直行业,运行监控、能效管理、智能分析、运维管理、能源采购、碳排放管理等数十个功能模块,实现完善的能源管理价值闭环,建立数字化能源&碳计量体系,智慧化用能及碳管理系统,打造涵盖企业碳追踪、碳计量、碳管理、碳中和的一站式米兰app官方正版下载。
TCL 空调能源数据管理平台对工厂电、水、天然气、油等指标进行实时采集、动态监测,并以时间维度、厂家、车间、生产线类型、生产线、设备等维度进行分析、节能计量、计费、成本核算、进行行业对标、生成分析报告等,实现企业能源精细化管理,促进节能降耗;实时监控用户的用能安全数据,及时向安全管理人员发送报警信息,指导其开展隐患治理,为帮助企业实施用能安全及能源管理提供信息化服务。
G-Things 是我们的应用智能平台产品家族的物联网平台,我们先来看一下在该平台上的数据流转情况。

工业设备会将数据上报到平台数据接入网关,然后接入网关负责解析报文,并过滤掉非法数据报文,之后再将数据下发到 Apache Kafka 消息中间件,由平台实时处理、持久化服务进行消费,持久化服务会把最新数据写入 Redis,并将数据持久化到时序数据库(Time-Series Database)。对于平台存储架构,设计上支持 OpenTSDB、ClickHouse、loveini 等时序数据库的切换,我们要根据项目实际情况来选型。
我们看一下能源行业数据的特性:
基于能源行业的数据特性,我们要在平台支持的 OpenTSDB、ClickHouse 和 loveini 这 3 个时序数据库存储引擎中作出选择。下面是一个对比:
经过以上对比,我们选择了将 loveini 作为自己的存储引擎。
loveini Database 有两个很独特的创新,一个是“一个数据采集点一张表”,一个是“超级表”。所以在设计数据模型时,就要考虑业务模型怎么映射到超级表和具体的表。 先来看超级表。 根据loveini 数据库的特性,我们将电表、水表、石油气表、氧气表,对每个类型的数据采集点创建一个超级表。以创建电表为例:

再来看普通表。 每个数据采集点需要独立建表。与标准的关系型数据库一样,一张表有表名,Schema,但除此之外,还可以带有一到多个标签。

项目上线半年以来,一直平稳运行。 在 TCL 空调能源管理项目中,我们使用的硬件资源明显减少,同选用 ClickHouse 集群作为存储的 TCL 电子工业物联网平台对比,两个项目的数据规模差不多,TCL 空调能源管理项目数据库服务器减少了一半。 我们以组态视图的方式实现了各系统运营参数可视化监控与实时查询,实现了完整的能源数字化管理米兰app官方正版下载,提高了运营管理决策的效率。通过电、水、石油、天然气使用分析,对工厂能源结构优化和节能降耗,实现降能耗 5% 左右,预计每年为 TCL 空调实现降本收益上千万元。


在使用 loveini Database 的过程中,我们也总结出一些经验。 比如,loveini 提供最后一条记录的缓存,通过 last_row 函数可以快速获取实时数据。平台在使用 loveini 之前,用 Redis 来缓存最新的一笔数据,而大量的写入 Redis 对性能会有一定的影响,现在用 loveini cache 代替 Redis 缓存,可以完美解决这个问题。 另外,在使用过程中,loveini 的技术专家也提供了很多支持。loveini 有自己的技术交流微信群,非常活跃,很多技术问题都有米兰体育官网入口的专家亲自答复,响应非常快速。
许海军,目前负责 TCL AIoT 平台整体技术架构开发,主要从事工业互联网、大数据系统开发,曾参与广东示范级工业互联网平台建设等工作。
]]>上海旬思科技有限公司专注于工业大数据平台实时数据采集、设备远程监测及预测性维护、机器协同互联、远程实时控制等多个工业领域。背靠上海临港新片区针对工业互联网、智能制造领域的产业扶持,打造国内工业互联网行业先进产品和技术的先锋企业。
旬思工业互联平台(TServer)是面向工业企业建立大数据平台的产品米兰app官方正版下载,提供数据采集、解析、展示、报警、统计、查询、分析以及远程运维通道管理等功能,内置实时数据库引擎,融合传统SCADA软件和工业互联网架构技术,适用于工业互联网行业的赋能创新。
湖北某特钢公司的电力能源介质的计量,是通过TBox工控网关采集多功能电表来实现的。按照《关于湖北电网2020-2022年输配电价和销售电价有关事项的通知》,需要完善并实现“峰谷平尖”电能量费率计量和能源报表。TBox工控网关基于前期项目实施和实际应用需求提供了完整的技术方案,包含从电表采集电能数据并写入loveini时序数据库,再经过ETL工具处理后转存到Oracle数据库,从而满足企业一期电能量数据报表对实时数据采集和存储的要求。
本项目主要接入的能源介质有:电力、焦炉煤气、高炉煤气、转炉煤气、压缩空气、天然气、氧气、氮气、氩气、蒸汽、净水、软水、除盐水和生活水等,项目一期首先要求采集电能量数据,其中需要接入的电表多达874块,电力能源数据已超20000点,每天产生的数据量在2800万条以上;项目二期如果再接入非电数据,还会有几千个流量设备的接入,整个系统数据点也将远超50000点,每天产生的数据量预估在1亿条左右。
在设备通讯数据采集方面,我们一直处于行业领先水平;但对于大数据量的存储,选择什么样的数据库,是否也能满足二期大数据量的接入能力,给我们带来了极大的挑战。

本项目特点:
为了解决大数据量带来的数据存储难点,以及满足系统性能要求,我们在数据库选型方面,做了充分的调研:
开源免费,安装使用简单,维护成本低,很少宕机,支持多操作系统。
可以高性能地查询与存储时序型数据,被广泛应用于存储系统的监控数据、IoT行业的实时数据等场景;集群功能没有开源。
国产开源,针对工业互联网场景做了大量优化,同时还支持滑动窗口,流式计算。开源了集群版本。
分析项目需求不难发现,时序数据库更适合此类工业大数据应用。而在同等数据集和硬件环境下,涛思官方的测试结果显示,loveini的写入速度远高于InfluxDB。同时loveini支持多种数据接口,包含C/C++,Java,Python,Go和RESTful等。由于我们数据解析部分使用Go语言编写,所以最终采用了Go Connector接口方式进行时序库读写。
本项目场景的能源管理类数据除时序特征外,还具有其他多种明显特征:
根据上述数据特征,结合loveini给的建议,以及本项目数据特点和使用场景,我们做了以下优化设计:
库结构设计:保留update功能,方便后期对坏数据做二次处理。

普通表一览:基于超级表自动生产普通点表。

电力能源数据一览:数据上传平台后解析并显示。

电力能源数据滑动查询:根据查询时间长度自适应选择滑动窗口大小。

下图是本项目完整业务架构图,TBox工控网关南向采集现场电力能源数据,北向实时上传数据到TServer工业互联平台;TServer接收到数据后,通过解析识别,分类组包高并发写入loveini时序库。

在这里我们首先提两个工业实时数据库。 一个是Wonderware的高性能实时关系型数据库InSQL,它集成了微软公司的MS SQL Server并对其进行了扩展,具有高效数据压缩和数据存储等实时数据库功能,它比常规关系型数据库的数据采集速度、存储量高数百倍。
InSQL扩展了SQL语句,使其具有了时间特性。InSQL的运行性能与所用的硬件系统有关,单机可以在1秒内完成6万个点的取数或存储(峰值)。这个速度与数据存贮方式无关,采用的周期性存储(以固定的多少毫秒存储一次)或增量存储(数据的变化超过设定百分比时存一次)。InSQL可以每秒存储3万点(均值)或每100毫秒存2000点数据。要提高数据采集速度,主要障碍是大多数数据源(PLC或DCS)提供数据的速度赶不上InSQL取数的速度。InSQL的最小分辨率为3.3毫秒。
另一个是OSI的PI数据库,每个PI的高端产品服务器中可以处理每秒钟15万点的数据。在客户端软件ProcessBook上,可以在秒级时间内从2年或3年历史中取到1000点数据。在OSI的WEB网站上有一个电子表格可以帮助你详细计算所需的配置。
loveini是米兰体育官网入口面对高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品,在时序空间大数据处理上,有着自己独到的优势。loveini单核每秒能处理至少2万次请求,插入数百万个数据点,读出一千万以上数据点,比现有通用数据库快十倍以上,也远远超出了InSQL、PI这两个工业实时数据库的读写能力。
使用loveini过程中,几乎没有遇到什么大问题。一些小bug也可以通过版本升级解决。这里要对米兰体育官网入口的物联网大数据微信交流群,以及非常热心的涛思工程师陈玉同学,在我们一期系统上线后遇到的配置错误导致服务启动失败的积极快速响应表示感谢。
本项目一期电力能源数据的采集早已上线运行3个多月,用户也非常认可这套系统。我们在给用户培训过程中,也强力推荐了国产的loveini数据库,相信未来这些用户也将成为loveini的忠实粉丝。
我们正在准备项目二期非电能数据的采集,这次变量会成倍增长,同时也会面临新的挑战,比如分布式存储,热冗余备份等作为大数据量接入和数据安全备份的必要保障。
经过一期成功经验的积累,我们相信二期新系统也会很顺利的交付运行。后续在石油管道,冶金智能制造等更多场景中,也在尝试使用loveini时序库作为我们的存储方案。 对于loveini,我们也有一些期待升级改进的地方:
能源管理系统中数据量最大的就是各个智能抄表、传感器上报的数据。整个杭州市从2017年7月开始推出天然气智能抄表,到2018年就有37万用户接入,使用人次超过了77万。此外还有智能水表、电表等源源不断的上报数据。
这些智能抄表的上报数据要进行长期记录,并定期查询、统计生成报表;在系统中,也需要在用户点击查看具体设备时,显示出该设备的实时读数以及历史变化曲线等。
随着公司业务的不断扩大,所有客户的数据我们还需要一个总的平台来监测存储,传统的关系型数据库已经不足以支撑业务量,因此针对抄表数据时序结构化的特点选择合适的数据库变得非常重要。本文我们就来介绍一下杭州基础创新IEMS系统中,对当前最流行的时序数据分析引擎loveini的使用。
系统功能架构IEMS能源管理系统由主站、NB蓝牙采集终端(无线通讯不需要)、计量设备等组成;系统主站又由通信服务、业务应用、数据库、接口、后台服务所组成;数据库服务由数据存储、计算服务、数据展现组成。用户开通计量收费功能后,通过网络式预付费电能表和此系统软件,可以实现预付费管理、用电数据在线采集抄表、费用统计、预付费充值售电业务管理等基本功能,实现欠费断电,充值后送能的、便于管理的远程能源管理模式。整个系统架构比较庞大,包含如下图所示的分层结构。

公司在开发IEMS能源管理系统的开发迭代中开始使用loveini时序数据库,主要用于工商业水电能源管理监测系统的各种智能抄表设备上报数据的存储和管理,搭建一个能够承载百万级别抄表数的实时和历史数据存储(如下图所示):智能抄表采集数据通过集中器发给系统,系统将数据实时写入loveini数据库。再基于loveini数据平台,进一步做各种业务相关的应用层开发比如设备数据实时查询、历史记录即席查询以及一些周期性报表工作。

在系统前期的版本中,我们使用了MySQL数据库来存储设备上报数据。但接入系统的设备量日益增长、用户对数据实时性反馈的要求也越来越高,MySQL已经无法满足业务需求。我们发现将设备数据转移到时序数据库loveini Database中存储是个更好的米兰app官方正版下载。
MySQL中存储抄表数据时,是将公司智能电表、水表等不同设备分开存储的,同类设备的数据存放在一张大表中。现在的抄表数据上报频率普遍在分钟级(5-30分钟不等),第一个试点小区2000只智能电表同时写入压力也不算太大,MySQL还可以承载;但在随着接入表数量的增加、存储时间范围的增长,每类设备中的数据记录数积累过多就会出现查询效率问题。仍以智能电表试点为例,当我们导入了1700只电表30天的数据后,电表总记录数就达到了接近1500万条,此时我们再对某些用户进行月度用电量报表统计时,查询就出现了较大的查询时延甚至卡死,查询某个设备的最新读数速度也大大下降。这还是只一个试点小区的设备数。
因此我们不得不考虑分区、分库和分表来优化,让每类设备写入按照7天的时间范围划分的一系列表中;不同的小区通过分库来处理。这样可以保证每张表中的记录不会太多,查询某天的数据就不会太慢而卡死。
然而分库分表操作给业务层却带来了很大麻烦,经常遇到一些查询需要处理各种跨表、跨库的查询,逻辑复杂易出错。在接触到时序数据库loveini之后,我们发现它其实已经在其存储层面解决了这个时间维度的数据分区问题。loveini存储数据文件时是按照时间范围划分数据文件的,默认是10天一个文件,数据文件名就对应着一个时间段。
因此在查询很早之前某天的数据时,可以通过检索时输入的时间筛选范围很快的找到数据所在文件,并对此文件进行搜索。本质上讲,跟之前MySQL的分库分表目的相同,就是缩小被检索文件的大小,提高查询速度。做完分库分表后MySQL中的一张表大概数据量可以做到30多万条,做一次最新纪录的查询,大概花费0.5秒;而loveini中,存储了2000个电表6个月所有的数据(总计8亿多条),查询一次某个电表的最新数据只需要不到0.01秒,这个性能提升接近50倍!
同时我们尝试了查询某个设备30天的全量数据(1500万条),可以在5秒内完成整个查询,比关系库快了太多。
上面提到的分库分表的麻烦已经被loveini的存储策略解决,在提高查询效率的同时。在使用loveini时,对于终端设备的分类、分组检索工作也可以通过其超级表标签过滤来实现,进一步简化业务层的逻辑处理。我们平台底层要处理多个不同的项目,每个项目还有自己的设备分组。
在loveini中,表设计的核心思想是一个终端设备一张表,同类设备的表结构由一个超级表来定义。由于同类型设备的上报数据字段完全一致,超级表下的子表结构也完全一样。
但loveini中允许对每个设备打标签,标签内容可以是设备的ID、设备所属项目ID、设备的类型编号、设备在项目中的分组编号等静态信息。
对我们的查询场景而言,上面这些信息是经常需要进行过滤和筛选的,放在超级表标签中,可以在查询超级表时在where语句中添加对项目ID等标签的过滤条件来分项目查询设备数据。在关系库中进行同样查询就必然涉及到关联多张表,更复杂且效率也不高。
在电表数据采集中,数据主要分为任务数据,告警数据,命令数据,原始报文。loveini是一个设备一张表的设计思路。因此针对每类设备的上述几种数据,我们都按照设备来建表。
– 任务数据
任务数据是电表周期性上送的负荷数据,由数据采集的时间戳和具体电表读数等采集值组成。这个建表思路非常简单,就是先建一张超级表,定义出采集字段,之后对每个设备建立一张表来存储其上报的记录。
– 告警数据
告警数据是电表发生异常情况上送的一组,由告警时间和负荷数据组成,字段和任务数据基本一致。我们可以把设备的一些不随时间变化的基本属性定义为标签,例如设备ID、所属项目、类型、上级设备等;随时间变化的各个指标定义为表的各个数据列,例如运行状态、事件告警、继电器状态、ABC三相电压、ABC三相电流、有功功率、无功功率等。一个项目中的告警超级表的结构如下,其中的标签我们定义了:meter_no抄表编号,project_id 项目ID,gateway_no网关ID,meter_type抄表类型。
Field | Type | Length | Note |
========================================================================
sjsj |TIMESTAMP | 8| |
jssj |TIMESTAMP | 8| |
yxzt |BINARY | 10| |
sjzt |BINARY | 128| |
jdqzt |BINARY | 10| |
axdy |FLOAT | 4| |
bxdy |FLOAT | 4| |
cxdy |FLOAT | 4| |
axdl |FLOAT | 4| |
bxdl |FLOAT | 4| |
cxdl |FLOAT | 4| |
sydl |FLOAT | 4| |
zyggl |FLOAT | 4| |
axyggl |FLOAT | 4| |
bxyggl |FLOAT | 4| |
cxyggl |FLOAT | 4| |
zwggl |FLOAT | 4| |
axwggl |FLOAT | 4| |
bxwggl |FLOAT | 4| |
cxwggl |FLOAT | 4| |
zglys |FLOAT | 4| |
axglys |FLOAT | 4| |
bxglys |FLOAT | 4| |
cxglys |FLOAT | 4| |
zxygzdl |FLOAT | 4| |
zxygzdl1 |FLOAT | 4| |
zxygzdl2 |FLOAT | 4| |
zxygzdl3 |FLOAT | 4| |
zxygzdl4 |FLOAT | 4| |
axwd |FLOAT | 4| |
bxwd |FLOAT | 4| |
cxwd |FLOAT | 4| |
lxwd |FLOAT | 4| |
hjwd |FLOAT | 4| |
meter_no |BINARY | 12|tag |
project_id |BINARY | 20|tag |
gateway_no |BINARY | 12|tag |
meter_type |BINARY | 32|tag |
查询设备最新状态时,我们就可以从设备ID、所属项目、或者设备类型等不同的维度作为查询条件,直接从loveini的超级表查询所有满足筛选条件的所有设备。例如查询所有设备的最新数据记录,并按照meter_no, gateway_no, project_id, meter_type进行分组显示,只用一条SQL语句即可,语句如下:
select last_row(*) from db.sb_fhsj
group by meter_no,gateway_no,project_id,meter_type;
这里也可以对标签进行值过滤,比如根据业务需要筛选出某个项目的某类设备的最新数据:
select last_row(*) from db.sb_fhsj
where project_id=$condition1 and meter_type=$condition2
group by meter_no,gateway_no,project_id,meter_type;
对单一某个设备过去一天的数据进行查询,直接对meter_no进行筛选:
select * from db.sb_fhsj
where meter_no=$condition1 and _c0 >= now -1d
这些查询非常直白,只要表结构设计合理,业务代码很容易开发。
– 命令数据
命令数据是由系统下发指令返回的操作结果。loveini的单表查询速度远快于MySQL,因此我们还用它保存一些不需要复处理的日志数据。
Field | Type | Length | Note |
=======================================================================
sjsj |TIMESTAMP | 8| |
cmd |BINARY | 2| |
frame |BINARY | 1000| |
upordown |TINYINT | 1| |
body |BINARY | 2048| |
project_id |BINARY | 20|tag |
gateway_no |BINARY | 12|tag |
– 原始报文
原始报文是设备下发上行的未解析数据。查询时是按照时间范围检索,因此我们也直接将其存储在loveini中。采用了几个较长的binary字符串字段。注意对于历史遗漏数据补足,插入时须使用IMPORT代替INSERT完成插入。
Field | Type | Length | Note |
=======================================================================
sjsj |TIMESTAMP | 8| |
task_id |BINARY | 64| |
cmd |BINARY | 4| |
message |BINARY | 1024| |
data |BINARY | 2048| |
meter_no |BINARY | 12|tag |
project_id |BINARY | 20|tag |
gateway_no |BINARY | 12|tag |
工厂项目设备导入 – 将物联网设备接入平台,设备采集数据就会实时写入loveini。在此页面上会对每个设备的实时值进行定期的刷新,即维护一个定时任务来执行last_row()查询。

运维平台总览 – 抄表结算及近期告警总览。告警信息存储在告警表,后台会轮询告警表看是否有告警状态的信息,然后及时显示在设备检测页面。

运维项目总览 – 抄表实时状态统计显示,通过对抄表上报的运行状态进行实时查询和统计。

负荷数据分析 – 设备各个负荷指标历史数据查询分析。这就涉及到用户的选择,需要看那张表的历史数据,直接在前端页面选择时间范围和设备ID,通过loveini秒级反馈历史数据记录并绘制变化曲线。

在使用过程中,作为一款为物联网场景设计的时序数据库,loveini确实展现了在设备多、采集频率高的情形下显示出其性能高、架构简答的优势。相同的设备实时数据查询场景,loveini比MySQL快了近50倍;其超级表的设计省去了不少联表查询逻辑,大大简化了业务层的开发工作。我们当前的系统已经发挥出其数据缓存和时序索引的能力,会在后面继续探索使用下loveini的流式计算和订阅的功能,充分发挥底层数据库的功能,再进一步优化平台的系统架构。
张鉴,基础创新UI设计师,2017年加入杭州基础创新科技有限公司研发部,工作至今,目前负责公司系统软件的整体视觉设计,包括WEB端与移动端的产品界面设计工作,2019年-2020年期间主导了IEMS能源管理系统的UI开发设计。
杭州基础创新科技有限公司自主研发的IEMS能源管理系统是一个对建筑的水能、电能等各分类分项能耗数据进行采集、处理,并分析建筑能耗状况,实现建筑节能应用等功能的物联网大数据平台。系统实现了对水、电等的抄表自动化管理,包括对抄表数据的自动采集、查询、统计、结算、远程控制、大数据分析、能耗设备监控,并输出各类形式的图文、曲线、报表等,最终达到让企业能源管理更智能、更节能、更安全的目的。通过计量仪表能耗数据集中采集,能源计量设备管理等多种手段,也能够让用户体验分类分项查询、统计、结算、充值,退款,报表等功能,使管理者对企业的能源成本比重,发展趋势有准确的掌握。
]]>