5月18日-19日,由互联网著名媒体51CTO主办的高端技术会议品牌WOT(World Of Tech)——“2018全球软件与运维技术峰会”在京召开。该会议已历时7届,打造核心热点技术与科学技术内容,始终坚持与全球技术同步,致力于服务IT技术人群,传播IT技术在企业中的最佳实践。宜信技术研发中心研发总监王东、张真受邀出席活动并发表演讲。
自去年9月宜信开源AIOps三大利器(UAVStack,Wormhole,Dbus)之后,宜信的这几款开源软件受到广泛关注,不少企业已经试用,甚至部署到生产中。本次大会上,宜信技术研发中心研发总监王东、张真分别就AIOps的关键技术“任务决策”演进过程、一些企业特别关心的“实时流式计算架构和敏捷大数据”问题进行深度剖析,旨在推动行业技术共同成长,为互联网金融企业以及相关行业的智能运维发展、实时大数据实践提供落地参考。
“2018全球软件与运维技术峰会”现场
“宜信实时敏捷大数据理念和实践”及开源平台
活动现场,宜信技术研发中心研发总监王东向与会者介绍了“实时敏捷大数据”的相关理念,以及根据这一理念在宜信孵化的多个技术平台。他分析了常见大数据应用项目面临的问题,包括:数据孤岛、数据时效性差、一致性差、无法快速响应业务开发数据产品等问题,并向与会者解读实时大数据中面临的几项技术挑战:如何解决大数据中来源多样化、实时性差;如何降低大数据使用的技术门槛;如何快速迭代响应用户需求,让用户参与进来,自助完成数据应用。
王东介绍道,宜信在进行实时大数据的设计中,是围绕着敏捷大数据的概念来开展和实现的。实时敏捷大数据包含以下几个方面:数据实时采集,实时处理,低侵入低延时,事件驱动机制;形成标准化协议,包括数据报文、数据类型规范、命名空间、查询语言、数据传输、数据安全等协议,以服务接口和队列接口方式提供系统间交互;基于配置进行部署、管理和监控,降低运维成本;通过可视化操作,降低大数据产品开发门槛,提高实施效率;模块化抽象形成多个高度内聚的组件化平台,既可独立使用,又能组合起来解决更多不同问题,很容易构建特定业务领域的产品化解决方案;通过提供编写SQL的方式来实现业务需求,降低开发难度,以自助化的操作和提供洞察分析展示的方式更好地支持客户。
宜信在此领域的实践分享,不但为实施实时大数据的相关企业提供了架构设计参考,进行技术交流和共享,也提供了开源工具(Dbus+Wormhole),帮助那些没有实时大数据工程能力的企业,使得他们可以结合宜信实践的成功经验快速搭建和落地实时大数据应用项目,快速产生商业价值。
宜信深度解读AIOps关键技术“任务决策”演进之路
宜信技术研发中心研发总监张真发表了主题为“运维机器人之任务决策系统演进之路”的演讲。张真首先向与会者说明了AIOps的目标以及面临的挑战,以此来阐述宜信制定的AIOps技术路线是如何应对挑战以及如何分阶段落地的。他介绍道,技术路线分为三个阶段:全维监控、全维关联、全维智能。全维监控通过统一采集体系,完成指标(Metrics),调用链(Tracing),日志(Logging)这三大类监控数据的采集,保证了时效、对齐和品控。运维机器人的建设是为了支持后两个阶段,而任务决策是其实现“智能”的关键能力。
张真表示,认知智能包括理解、解释、规划、推理、演绎、归纳等六个方面,其中与“决策”相关的是前四个。而运维机器人的决策能力就是通过对人的意图、现实世界、系统的理解(例如增强现实感知),从而可以解释现象(例如问题定位,根因分析),又通过目标输入规划操作的步骤(例如执行计划生成),根据已知经验推导问题结论(例如影响访问评估,自愈计划)。而机器学习、知识图谱、搜索技术为系统实现决策能力提供了基本的、必要的技术手段,例如分类判断、事务认知、模糊匹配等。
张真还介绍道,运维机器人有两种工作模式:任务驱动和自主驱动。任务驱动是通过对自然语言的理解识别意图,决定要做什么任务,应该怎么做,完成后反馈什么结果,本质上是如何将自然语言转化成任务指令,并完成指令参数填充和执行的过程;自主驱动是通过理解描述的期望,规划达成任务期望的实现路径和步骤,并按需返回结果,本质上是要识别期望符合哪种已知的计划方案,并对计划方案制定有时序性的一组任务指令,并执行它们的过程。
为了实现这两种工作模式,任务决策系统需要支持意图理解、系统理解、现实理解、异常检测、问题分析、执行计划等六种能力。张真也分别介绍了这六种能力的实现原理。此外,张真还通过任务决策的案例形象的说明演进过程中遇到的问题以及解决方法。
此次张真分享宜信在此技术领域的实践为实现智能运维的关键路径中的必要技术点提供了可落地的参考案例,也帮助那些正在实践智能运维的企业免去了部分高昂的“试错”成本。同时,也为处于起步阶段的企业提供了一种解决思路,使之可以结合开源软件UAVStack(开源参考:http://uavorg.github.io/main)和任务决策案例,逐步建设符合自身发展需求的智能运维体系。
不断开放开源技术,让前沿科技共享,推动行业技术共同成长是宜信技术生态圈的目标之一。据悉,宜信会在智能运维,大数据处理等前沿领域不断开放更多促进金融科技进步的技术。
责编:汉网