python运营数据分析(Python 数据分析)

Python 数据分析

那么什么是数据分析呢？顾名思义，数据分析就是数据（Data）加分析（Analysis）。“数据”就是数值，也就是我们通过观察、实验或计算得出的结果。数据有很多种，最简单的就是数字，数据也可以是文字、图像、声音等。数据可以用于科学研究、设计、验证等。“分析”就是将研究对象的整体分为各个部分、方面、因素和层次，并分别加以考察的认识活动。分析的意义在于细致地寻找能够解决问题的主线，并以此解决问题。因此，数据分析就是：用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论，对数据加以详细研究和概括总结的过程。

这一过程也是质量管理体系的支持过程。在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动。数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使数据分析得以推广。数据分析是数学与计算机科学相结合的产物。如果用一句话来定义数据分析，那么可以认为数据分析就是利用数据来理性思考和决策的过程。

孤立的数据没有任何意义，唯有将其放到实际业务中才能产生价值，那么我们具体用数据分析来干什么呢？正如哲学有3个终极问题：我是谁？我从哪里来？我要到哪里去？与之对应，数据分析的目标也是回答这三大问题。

（1）我是谁：过去发生了什么。

如果你不知道自己在哪里，那么给你一张地图也没有任何意义。对企业而言，首要的任务就是了解过去发生了什么。以电商网站为例，企业需要了解新用户注册、用户复购、仓库备货、配送、营收等运营指标，提供这些指标来衡量公司的运营，用以说明当前业务是好还是坏，好的程度如何，坏的程度又如何。除了运营指标的监控，企业还需要了解各项业务的构成、业务的发展和变动情况等。针对“我是谁”的数据分析通常会以每天、每周、每月的报表形式来表现，有的时候企业还需要实时了解业务，如天猫“双十一”活动时，对销售额、订单、快递等的实时显示。

（2）我从哪里来：归因。

“我是谁”的问题，解决了现状问题，那么“我从哪里来”就需要解决问题的归因，即为什么会这样。通过现状分析，我们对企业的当前运营情况有了基本了解，但为什么用户最近流失，营收却增加了？为何配送最近总是延迟？客户满意度为什么最近在下降？这就是数据分析要解决的第二个问题，寻找问题的原因。

（3）我要到哪里去：预测。

“我要到哪里去”，简单来说就是告诉我们将来会发生什么。一方面，我们通过对企业运营现状的了解来帮助企业对未来发展趋势做出预测，为制定企业运营目标及策略提供有效的参考与决策依据，以保证企业的可持续健康发展；另一方面，我们需要实时预测客户的行为，针对客户进行精准营销，推断客户将商品加入购物车后的下一步行为。类似的预测还有很多，例如，国外有的银行根据求职网站的岗位数量推断就业率；美国疾病控制和预防中心依据网民搜索分析全球范围内流感等疾病的传播状况，这些都是对未知的预测。

典型的数据分析或商业分析（Business Analytics）分为以下3类：

·　描述性分析（Descriptive Analytics）：已经发生了什么？

·　预测性分析（Predictive Analytics）：将发生什么？

·　指导性分析（Prescriptive Analytics）：应该怎么办？

描述性分析是传统数据分析的主要应用领域，使用的技术主要有基于数据仓库的报表、多维联机分析处理等，通过各种查询了解业务中发生了什么，寻找数据中的存在模式。例如，本月某类商品销售额是多少，客户平均订单价值是多少，客户留存率是多少。

预测性分析主要是基于大数据（实际上也可以基于传统的数据仓库和数据库），采用各种统计方法以及数据挖掘技术预测业务中各个方面将要发生什么。例如，基于过去几年的时间序列销售数据预测明年的销售额；基于聚类分析、分类分析、逻辑回归等技术预测客户信用等级；基于关联分析预测不同商品组合可能产生的销售效果。目前各类热门的大数据方面的统计应用，包括数据挖掘技术等，都可归类到预测性分析。

Prescriptive Analytics是一个比较难翻译的词，常规翻译为规范性分析，有些不明所以。此类分析的内在含义是它会告诉用户应该做什么以得到最优的结果，因此，翻译为指导性分析更加合适，也有翻译为决策分析的。它主要指采用运筹科学的方法，即运用数学模型或智能优化算法，对企业应该采取的最优行动给出建议。例如，采用数学模型确定最优的商品定价以实现利润最大化。再比如，应该怎样实现网页的最优广告位布局、生产企业最优的生产排程、最优的劳动力排班等。我们将重点讨论描述性分析与预测性分析。

数据分析与统计分析密不可分，从统计学角度，典型的数据分析方法可以分为以下几类。

·　描述性统计分析：应用统计特征、统计表、统计图等方法，对资料的数量特征及其分布规律进行测定和描述。

·　验证性统计分析：侧重于对已有的假设或模型进行验证。

·　探索性数据分析：主动在数据之中发现新的特征或有用的隐藏信息。

描述性统计分析是用来概括、表述事物整体状况以及事物间关联、类属关系的统计方法。通过统计处理可以简单地用几个统计值来表示一组数据的集中趋势、离散程度以及分布形状，如图1所示。

图1　描述性统计分析

验证性统计分析是对数据模型和研究假设的验证，参数估计、假设检验以及方差分析是验证性统计分析中常用的方法。所谓参数估计就是用样本统计量去估计总体的参数。假设检验与参数估计类似，但角度不同，参数估计是利用样本信息推断未知的总体参数，而假设检验是对总体参数提出一个假设值，然后利用样本信息判断这一假设是否成立。假设检验可分为：

·　单样本假设检验；

·　双样本的均值比较假设检验；

·　成对样本的均值比较假设检验。

而方差分析则是通过比较总体各种估计间的差异来检验方差的正态总体是否具有相同的均值，是检验多因素之间差异显著性的重要统计分析方法，常用的方差分析方法有：

·　单因子方差分析；

·　双因子方差分析。

探索性数据分析（Exploratory Data Analysis，EDA）是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法，该方法在20世纪70年代由美国统计学家J.K. Tukey提出。传统的统计分析方法常常先假设数据符合一种统计模型，然后依据数据样本来估计模型的一些参数及统计量，以此了解数据的特征，但实际中往往有很多数据并不符合假设的统计模型分布，导致数据分析结果不理想。探索性数据分析则是一种更加贴合实际情况的分析方法，它强调让数据自身“说话”，通过探索性数据分析可以真实、直接地观察到数据的结构和特征。探索性数据分析出现之后，数据分析的过程就分为两个阶段：探索阶段和验证阶段。探索阶段侧重于发现数据中包含的模式或模型，验证阶段侧重于评估所发现的模式或模型，很多机器学习算法（分为训练和测试两步）都遵循这种思想。当拿到一份数据时，如果做数据分析的目的不是非常明确、有针对性，可能会感到有些茫然，那么此刻就更加有必要进行探索性数据分析了，它能帮助我们初步了解数据的结构和特征，甚至发现一些模式或模型，再结合行业背景知识，也许就能直接得到一些有用的结论。