移动版

当前位置:智慧城市网资讯中心市场分析

新发产品更多
大数据分析现代意义重大 计算方法选择需慎重
2015年07月09日 09:30:28来源:中国安防展览网整理点击量:42461
导读作为时下火热的IT行业的词汇,大数据分析依靠机器学习和大规模计算,对规模巨大的数据进行分析,在方法选择上有策略。
  【中国安防展览网 市场分析】大数据分析依靠机器学习和大规模计算,对规模巨大的数据进行分析。作为时下火热的IT行业的词汇,数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。大数据时代的来临,大数据分析应运而生。


大数据分析现代意义重大 计算方法选择需慎重
  
  安联救援长期从事道路救援已有12年,利用大数据分析科学分析救援数据,在时间内合理调配救援资源,并在短时间内通知相关部门展开对应的援助。2015年7月6日,安联救援在北京庆祝在华第500万个成功道路救援案例诞生。在过去的12年里,安联救援投入了大量资金和资源在全国范围内建立专业服务网络,并分别在北京和成都设立运营中心,其网络覆盖全国1762个城市,平均服务到达时间为39分钟。利用大数据分析,大大提高了道路救援效率。
  
  那么大数据分析究竟是怎么样?那些方法更有效?我们该如何利用起来呢?
  
  大数据分析可以分为五个基本方面:
  
  1.可视化分析(Analytic Visualizations)——不管是对数据分析专家还是普通用户,数据可视化是数据分析工具基本的要求。可视化可以直观的展示数据,让数据自己说话,让观众听到结果。
  
  2.数据挖掘算法(Data Mining Algorithms)——可视化是给人看的,数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部,挖掘价值。这些算法不仅要处理大数据的量,也要处理大数据的速度。
  
  3.预测性分析能力(Predictive Analytic Capabilities)——数据挖掘可以让分析员更好的理解数据,而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
  
  4.义引擎(Semantic Engines)——我们知道由于非结构化数据的多样性带来了数据分析的新的挑战,我们需要一系列的工具去解析,提取,分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。
  
  5.数据质量和数据管理(Data Qualityand Master Data Management)——数据质量和数据管理是一些管理方面的佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
  
  大数据分析方法的选择
  
  大数据分析性能的好坏,也就是说机器学习预测的准确率,与使用的学习算法、问题的性质、数据集的特性包括数据规模、数据特征等都有关系。一般地,Ensemble方法包括Random Forest和Ada Boost、SVM、Logistic Regression分类准确率高。没有一种方法可以“包打天下”。RandomForest、SVM等方法一般性能好,但不是在什么条件下性能都好。
  
  不同的方法,当数据规模小的时候,性能往往有较大差异,但当数据规模增大时,性能都会逐渐提升且差异逐渐减小。也就是说,在大数据条件下,什么方法都能work的不错。对于简单问题,Random Forest、SVM等方法基本可行,但是对于复杂问题,比如语音识别、图像识别,近流行的深度学习方法往往效果更好。深度学习本质是复杂模型学习,是今后研究的重点。
  
  在实际应用中,要提高分类的准确率,选择特征比选择算法更重要。好的特征会带来更好的分类结果,而好的特征的提取需要对问题的深入理解。



不同机器学习方法在数据集增大时的学习曲线。(图片自51CTO)
  
  大数据分析策略分析
  
  建立大数据分析平台时,选择实现若干种有代表性的方法即可。当然,不仅要考虑预测的准确率,还有考虑学习效率、开发成本、模型可读性等其他因素。大数据分析平台固然重要,同时需要有一批能够深入理解应用问题,自如使用分析工具的工程师和分析人员。
  
  只有善工利器,大数据分析才能真正发挥威力。(本文据中国科技网、51CTO、百度信息整合)
关键词 大数据分析方法
相关阅读更多
版权与免责声明:

凡本网注明“来源:智慧城市网”的所有作品,均为浙江兴旺宝明通网络有限公司-智慧城市网合法拥有版权或有权使用的作品,未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智慧城市网”。违反上述声明者,本网将追究其相关法律责任。

本网转载并注明自其它来源(非智慧城市网)的作品,目的在于传递更多信息,并不代表本网赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品第一来源,并自负版权等法律责任。

如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。

正在阅读:大数据分析现代意义重大 计算方法选择需慎重
我要投稿
  • 投稿请发送邮件至:(邮件标题请备注“投稿”)afzhan@foxmail.com
  • 联系电话0571-87756384
智慧城市行业“互联网+”服务平台
智慧城市网APP

功能丰富 实时交流

智慧城市网小程序

订阅获取更多服务

微信公众号

关注我们

抖音

智慧城市网

抖音号:afzhan

打开抖音 搜索页扫一扫
i

视频号

AF智慧城市网

视频号ID:sphF7DOyrojJnp8

打开微信扫码关注视频号

小红书

智慧城市

小红书ID:2537047074

打开小红书 扫一扫关注
反馈