我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:香港赛马会 > 多关联处理机 >

用“闪电计算”弯道超车 费马图数据破解关联分析瓶颈

归档日期:06-16       文本归类:多关联处理机      文章编辑:爱尚语录

  随着中美贸易战愈演愈烈,在科技领域也不由得拉响了警报。去IOE多年,有很多成果也有很多无奈,在数据库领域,我们至今依然无法摆脱受制于人的局面。Oracle前段时间大规模裁员的事情带给我们很多反思,我们需要在系统软件领域深耕,尽早摆脱掣肘的局面,为中

  随着中美贸易战愈演愈烈,在科技领域也不由得拉响了警报。“去IOE”多年,有很多成果也有很多无奈,在数据库领域,我们至今依然无法摆脱受制于人的局面。Oracle前段时间大规模裁员的事情带给我们很多反思,我们需要在系统软件领域深耕,尽早摆脱掣肘的局面,为中长期的谈判对抗上增加筹码。

  图数据技术显然会是系统软件领域弯道超车的机会之一。图是将信息中的实体,以及实体之间的关系,分别抽象表达成为顶点以及顶点间的边这样的结构数据。图计算就是针对图数据处理的系统,它在图结构的数据上进行针对性优化的高效计算,尤其适合大规模的关联关系分析。相比传统的关系型数据(以Oracle为代表),图的逻辑可以很好的解决目前遇到的关联数据分析问题,如绘制用户社交关系图谱做社交影响力排名、好友推荐;通过绘制资金交易图谱做大数据征信、反欺诈等应用;构建设备关系网络图谱实现物联网建模分析、供电网络建模分析等等。因此,图数据被业界称为下一代数据库。

  图数据的应用在国内才刚刚起步,在国外已经有较为成熟的应用,如facebook、google等。但是在学术研究领域,目前我们的研究成果,比学术界其它成果快10多倍,比常见工具快了100多倍。这样的性能表现来自于清华大学陈文光教授带领的团队,他们十年前就关注到了图数据技术,历任学子均参与过图数据的研究,在OSDI、EuroSys、ATC等顶级会议中发表了多篇相关论文,是该领域最先进的水平。2016年在陈文光教授的支持下,洪春涛博士与朱晓伟、林恒、李恺威几位清华博士共同组建了北京费马科技有限公司,专注图数据平台的研发和落地。

  图数据的逻辑维度要远高于关系型数据,以社交场景为例,以往我们要机器训练出微博大V的权重,通常会按其粉丝数量来排名;而图数据的逻辑对人物关联关系分析极其友好,不仅关注粉丝数量,同时还关注粉丝质量。也就是说,会同时根据粉丝们的权重综合来计算。此外还会再计算高互动频次(亲密度)的粉丝的权重值,完全没互动的粉丝权重等等维度。这样一来,同样是200万粉丝的大V,靠买僵尸粉的大V和与王思聪频繁互动的大V,传统分析模式下,两者权重是差不多的,而在图数据下,两者权重会是悬殊的,谁在“裸泳”一目了然。当然,分析的难度的差距,也是悬殊的。图数据分析远超出二维的分析维度,每增加一层,分析的难度就高了百倍,其中的难度可想而知。

  随着AI如火如荼的发展,图数据作为底层数据存储分析技术,可以帮助机器学习领域获取更多维度的信息,在打破性能的约束后,可以说图计算是下一代AI发展的推速器。费马团队打造的费马图数据平台,集图数据库存储和图计算分析于一身,超出业界标准产品100倍的处理速度,让性能瓶颈不再成为分析的障碍,同时使中国系统软件有了扬眉吐气的机会。

  AI需要大量的数据来学习从而提升判断的准确性,数据的维度越丰富,准确率也就越高。以往的数据存储结构是很难提供相关维度去学习的,图模型能整合不同来源的数据,为AI提供更多维度的信息,辅助完善AI的进化,如同闪电一样,迅速且没有边界限制,顺着一点无限延伸演化。因此,费马图数据平台也被称为“闪电计算”,通过并行计算,计算力可以无限延伸,万亿级的数据处理毫不费力。

  在两年多的时间里,费马已为工商银行、京东金融、民生银行、搜狗搜索等大型金融、互联网企业及政府、军工类项目提供高性能可扩展的存储和分析解决方案,赋予企业强大的图数据存储及分析能力,助力实现多维度的关联分析和AI(机器学习)。

  以京东金融为例,京东金融提供“白条”服务,白条的额度取决于用户的风险值,除了常规的数据,参考同一地址等相似信息,通过图数据技术很容易将有关系的用户关联起来,并参考联系人的风险系数计算该用户的风险值。费马科技及帮助京东金融实现多账号间的关联关系分析,全量数据处理仅需占用1台服务器资源在10分钟内即可完成,而对比此前基于GraphX需要上百台设备运算6个小时以上的情况,不止性能提升1000倍,同时降低金融风险,给京东金融带来惊喜。

  风控一直以来都是金融难题,欺诈手段防不胜防,传统的分析手段很容易被造假的信息所蒙蔽,而基于费马图数据平台,可以很清楚的基于人物关系绘制资金流转的图谱,不仅分析申请人的个人信息,与其有资金往来关系的联系人,以及联系人的联系人都可以同时分析,也就是说,如果想要在图数据中制造不被发现的虚假个人信息,需要在背后伪造出一个庞大的社区,这是欺诈团伙很难做到的事情。基于费马图数据平台,金融机构可以快速识别出有用信息,帮助其做出更准确的金融决策。

  银行业也是如此,大额贷款后的贷后追踪,以及担保人风险分析,都是基于用户的关系网络图和资金交易图来进行算法分析,一旦资金指向到高风险用户时,那么就可以提前介入,避免损失。

  费马图数据产品不仅适用于金融行业,在生活中涉及到的方方面面,都可以尝试用图数据来解决。最常见的社交领域,通过用户生活交集、互动情况等数据,绘制关联关系图,管理社交关系,实现更精准的好友推荐机制和垃圾用户识别,Facebook, Twitter,Linkedin都是通过图做到的。

  再比如军工领域,通过建立人物关系图谱,构建情报关系网络,覆盖并跟踪可疑份子,尤其是在大国博弈之时,既是保护自己,也能更好的洞悉阴谋诡计;比如通过构建物联网设备节点的关联关系图,可以打造更加智慧更加合理的智能交通、道路规划、平安城市、轨迹分析、钓鱼网站识别,惠及民生;比如管理供应链关系,使用图数据库来管理复杂且快速变化的库存、供应链,并推动推动创新制造解决方案;医疗领域,根据病人的病情特征、电子病历、历史用药、药物成分、临床试验、保险情况等多维数据绘制以用户为中心的图表,从而实现智能诊断,提高诊断效率和准确性,共享医疗资源;零售的营销场景,通过整合用户浏览及购买数据,分析“哪些用户购买了该商品”以及“购买A商品的用户也购买了B商品”等多维数据,实现商品智能推荐,给买家更好的购物体验;电信公司依靠图数据库构建管理网络,打造深度经营分析系统等等数不胜数。

  图数据领域蕴藏着巨大的机会,相信这个冠军团队能够成为中国系统软件弯道超车的先锋队。伴随着中国的强大,欧美国家对我们的科技限制也会越来越严苛,我们期待费马团队能够不断积累,打破层层限制和封锁,成为图数据领域的Oracle。

  免责声明:我方仅为合法的第三方企业注册用户所发布的内容提供存储空间,融合网不对其发布的内容提供任何形式的保证:不保证内容满足您的要求,不保证融合网的服务不会中断。因网络状况、通讯线路、第三方网站或管理部门的要求等任何原因而导致您不能正常使用融合网,融合网不承担任何法律责任。

  第三方企业注册用户在融合网发布的内容(包含但不限于融合网目前各产品功能里的内容)仅表明其第三方企业注册用户的立场和观点,并不代表融合网的立场或观点。

  根据相关协议内容,第三方企业注册用户已知悉自身作为内容的发布者,需自行对所发表内容(如,字体、图片、文章内容等)负责,因所发表内容(如,字体、图片、文章内容等)等所引发的一切纠纷均由该内容的发布者(即,第三方企业注册用户)承担全部法律及连带责任。融合网不承担任何法律及连带责任。

  第三方企业注册用户在融合网相关栏目上所发布的涉嫌侵犯他人知识产权或其他合法权益的内容(如,字体、图片、文章内容等),经相关版权方、权利方等提供初步证据,融合网有权先行予以删除,并保留移交司法机关查处的权利。参照相应司法机关的查处结果,融合网对于第三方企业用户所发布内容的处置具有最终决定权。

  个人或单位如认为第三方企业注册用户在融合网上发布的内容(如,字体、图片、文章内容等)存在侵犯自身合法权益的,应准备好具有法律效应的证明材料,及时与融合网取得联系,以便融合网及时协调第三方企业注册用户并迅速做出相应处理工作。

  作为广电领域最具影响力的科技奖项之一,CCBN产品创新奖旨在鼓励技术创新,促推广电信[详细]

  来自全国广播电视行业同仁、业内专家领导、优秀企业代表、媒体朋友等汇聚一堂,一起盘[详细]

  作为广电领域最具影响力的科技奖项之一,CCBN产品创新奖旨在鼓励技术创新,促推广电信[详细]

本文链接:http://wsfcsmagnets.net/duoguanlianchuliji/700.html