数据分析是指采用恰当的统计分析方法对收集来的大量数据进行分析,提取出有用信息同时形成结论,即对数据加以详细研究和概括总结的过程。
数据分析需要掌握数学知识和分析工具,数学知识包含统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘;工具一般应该掌握Excel、SQL、R、Python等。需要学习掌握基本数据处理及分析方法,掌握高级数据分析及数据挖掘方法(多元线性回归法,贝叶斯,神经网络,决策树,聚类分析法,关联规则,时间序列,支持向量机,集成学习等)和可视化技术。
大数据是无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。《大数据时代》一书中这样定义大数据分析:不用随机抽样调查分析这样的捷径,而采用对所有数据进行分析处理,不考虑数据的分布状态,因为抽样数据是需要考虑样本分布是否有偏,是否与总体一致的,也不用考虑假设检验,这点也是大数据分析与一般数据分析的一个区别。