数据化分析,Python,实战,-,林骥,-,V4.0.2

发布时间：2022-10-26 11:10:05 来源：网友投稿

下面是小编为大家整理的数据化分析,Python,实战,-,林骥,-,V4.0.2,供大家参考。

　前⾔你好，我是林骥。2018 年，我开始从事数据分析相关⼯作，也就是⽤数据化的⽅法，去分析和解决现实中的难题。2012 年，我给⾃⼰起了⼀个⽹名，叫「数据化分析」，当时的想法是：对客观真实的数据，运⽤恰当的⽅法和⼯具，进⾏科学有效地分析。后来，我给「数据化分析」赋予了新的内涵：⽤数据化解难题，让分析更加有效。数据是能够⽤来解决问题的增强回路，我把它称之为「数据化分析闭环系统」。因为数据的最终作⽤是⽤来解决实际问题的，⽽对数据运⽤有效的分析⽅法，则是解决问题的关键所在。我相信，那些能够培养数据进⾏创新，从⽽改善数据，利⽤数据进⾏决策，从⽽化解难题的⼈，将成为更有价值的⼈。

　我们经常低估了身边的⼈。⽐如说，1927 年的第五届索尔维会议，其中有 17 个获得过诺⻉尔奖，有爱因斯坦、居⾥夫⼈、普朗克、玻尔、薛定谔、海森堡、狄拉克、洛伦兹等等。前⾔⽬录思维导图⼀、思维篇第 1 章数据化分析的思维1.1 数据分析的⽬标思维1.1.1 正确定义问题1.1.2 合理分解问题1.1.3 抓住关键问题1.2 数据分析的 8 种思维1.2.1 对⽐思维1.2.2 细分思维1.2.3 溯源思维1.2.4 假设思维1.2.5 相关思维1.2.6 逆向思维1.2.7 演绎思维1.2.8 归纳思维

　第 2 章数据化分析的基础2.1 数据分析的⽅法2.1.1 产品研究2.1.2 品牌研究2.1.3 价格研究2.1.4 市场细分2.1.5 满意度研究2.1.6 ⽤户研究2.1.7 预测决策2.2 数据分析的模型2.2.1 ⼀维线性分析模型2.2.2 ⼆维矩阵分析模型2.2.3 多维空间分析模型2.2.4 其他分析模型2.3 分析指标的 5 个步骤2.3.1 确认数据源是否正确2.3.2 判断变化的程度如何2.3.3 数据变化的周期如何2.3.4 变化前后发⽣了什么2.3.5 细分纬度有哪些2.4 数据分析的 6 个阶段2.4.1 信息2.4.2 报表2.4.3 规则2.4.4 预警2.4.5 ⾏动2.4.6 建议2.5 数据分析的 8 个状态2.5.1 新的需求2.5.2 需求确认2.5.3 数据确认2.5.4 实现中2.5.5 交付2.5.6 复盘2.5.7 等待2.5.8 拒绝2.6 数据分析的指标体系2.6.1 ⼀个⽐喻2.6.2 ⽤⻥⻣图2.6.3 业务逻辑2.6.4 ⼆⼋法则2.6.5 ⼀个例⼦第 3 章数据化分析的精进3.1 数据分析学习指南3.1.1 学习⽅法3.1.2 学习内容3.1.3 学习过程3.2 如何提⾼数据敏感度3.2.1 知道数据背后的信息

　3.2.2 对业务有深刻的理解3.2.3 发现关键指标的异常3.2.4 追问数据的本质3.2.5 预测数据的趋势3.3 如何⽤数据解决实际问题3.3.1 ⽤流程解决问题3.3.2 通过分解找到关键问题3.3.3 采⽤交叉视点锁定原因3.3.4 依据⽅程式制定对策3.3.5 ⽤数据讲故事3.4 精准搜索资料的 6 个技巧3.4.1 尽量避免⼝语化3.4.2 使⽤多个关键词3.4.3 把搜索词放在双引号中3.4.4 进⾏站内搜索3.4.5 指定⽂件类型3.4.6 以图搜图3.5 ⾼效学习的 6 种⽅法3.5.1 解决问题3.5.2 控制难度3.5.3 以教为学3.5.4 保持专注3.5.5 应⽤反馈3.5.6 搜索求助3.6 ⾼效学习的 7 种能⼒3.6.1 定位能⼒3.6.2 框架能⼒3.6.3 精进能⼒3.6.4 联机能⼒3.6.5 复盘能⼒3.6.6 输出能⼒3.6.7 迁移能⼒3.7 数据分析的精进之道3.7.1 数据分析的材质3.7.2 数据分析的造型3.7.3 数据分析的装饰3.7.4 数据分析的⼯艺3.7.5 数据分析师的层级⼆、⼯具篇第 4 章数据化分析的 7 种武器4.1 ⻓⽣剑 Excel4.2 孔雀翎 Power BI4.3 碧⽟⼑ SQL4.4 多情环 SPSS4.5 霸王枪 SAS4.6 离别钩 R4.7 箱⼦ Python第 5 章数据化分析 Python 实战5.1 读取数据

　5.1.1 从 Excel 中读取数据5.1.2 从 MySQL 中读取数据5.1.3 从 PostgreSQL 中读取数据5.1.4 从 Oracle 中读取数据5.1.5 从⽹⻚中读取数据5.2 清洗数据5.2.1 查找异常5.2.2 排除重复5.2.3 删除缺失5.2.4 补全缺失5.2.5 应⽤案例5.3 操作数据5.3.1 增加数据5.3.2 删除数据5.3.3 修改数据5.3.4 查询数据5.3.5 应⽤案例5.4 转换数据5.4.1 转换为时间5.4.2 转换为数值5.4.3 转换为字符5.4.4 转换为区间5.4.5 分组转换5.4.6 标准化转换5.5 整理数据5.5.1 数据准备5.5.2 外连接5.5.3 内连接5.5.4 左连接5.5.5 右连接5.5.6 交叉连接5.5.7 联合拼接5.6 分析数据5.6.1 明确⽬标5.6.2 应⽤思维5.6.3 处理数据5.6.4 分析推理5.6.5 提出建议第 6 章数据化分析 Python 应⽤6.1 ⽤ Python ⾃动操作数据库6.1.1 安装和导⼊模块6.1.2 连接数据库6.1.3 创建表6.1.4 增删改查6.1.5 数据备份和删除表6.2 ⽤ Python ⾃动⽣成报表6.1.1 安装和导⼊模块6.1.2 读取和处理数据6.1.3 设置和保存报表

　6.3 ⽤ Python ⾃动发送邮件6.3.1 导⼊模块6.3.2 设置参数6.3.3 构造内容6.3.4 发送邮件6.3.5 查看结果6.3.6 最后的话6.4 ⽤ Python 分析新型肺炎6.4.1 读取数据6.4.2 处理数据6.4.3 展现数据6.5 ⽤扑克牌演示数据分析6.5.1 构建数据框6.5.2 描述性数据分析6.5.3 数据可视化6.5.4 诈⾦花⼩游戏三、展现篇第 7 章数据化分析的展现7.1 数据展现的重要原则7.1.1 数据可靠7.1.2 思维严谨7.1.3 ⼯具合适7.1.4 信息规范7.1.5 建议合理7.2 数据展现的常⽤⽅法7.2.1 将指标值图形化7.2.2 将指标关系图形化7.2.3 将时间可视化7.2.4 将空间可视化7.2.5 让图表动起来7.3 数据展现的图表选择7.2.1 类别⽐较7.2.2 时间趋势7.2.3 占⽐构成7.2.4 联系关系7.2.5 分布7.2.6 增强7.2.7 单值7.2.8 提示第 8 章 Python 数据可视化8.1 图表的主要元素8.2 折线图8.3 组合图8.4 瀑布图8.5 矩阵图8.6 ⼦弹图8.7 柱形图8.8 ⽓泡图8.9 斜率图

　8.10 条形图8.11 箱线图8.12 散点图8.13 雷达图8.14 帕累托图8.15 ⾯积图8.16 热⼒地图第 9 章数据化分析的报告9.1 数据分析报告的 3 个层级9.1.1 第 1 层级：是什么9.1.2 第 2 层级：为什么9.1.3 第 3 层级：怎么办9.2 数据分析报告的 4 种情景9.2.1 情景 1：⾸次分析报告9.2.2 情景 2：常规分析报告9.2.3 情景 3：问题分析报告9.2.4 情景 4：总结分析报告9.3 数据分析报告的 5 类问题9.3.1 问题 1：是多少9.3.2 问题 2：好不好9.3.3 问题 3：为什么9.3.4 问题 4：会怎样9.3.5 问题 5：怎么办9.4 数据分析报告的 6 个步骤9.4.1 明确⽬标9.4.2 数据收集9.4.3 数据处理9.4.4 数据分析9.4.5 数据展现9.4.6 结论建议9.5 数据分析报告的 7 个模块9.5.1 标题封⾯9.5.2 ⽬录导航9.5.3 背景说明9.5.4 思路⽅法9.5.5 结论建议9.5.6 分析正⽂9.5.7 附录封底9.6 数据分析报告的 8 种颜⾊9.6.1 红⾊9.6.2 橙⾊9.6.3 ⻩⾊9.6.4 绿⾊9.6.5 蓝⾊9.6.6 紫⾊9.6.7 ⿊⾊9.6.8 灰⾊9.7 ⾃动⽣成数据分析报告9.7.1 结果展示

　9.7.2 制作⽅法附录推荐书单A. ⼊⻔篇B. 进阶篇C. ⾼级篇图表⽹站联系作者1. 微信公众号2. 微信视频号3. 知识星球4. 新浪微博5. 私⼈微信思维导图

　⼀、思维篇

　第 1 章数据化分析的思维

　 1.1 数据分析的⽬标思维

　对于数据分析⼯作⽽⾔，如果没有⽬标，不仅⼯作结果可能没有意义，甚⾄有可能让⼈误⼊歧途。⽐如说，有的数据分析师，每天重复着制作报表的⼯作，没有对数据进⾏思考和分析，不知道数据分析的⽬标是什么，逐渐沦为「报表制作的机器」，让⾃⼰的职业前途堪忧。

　数据分析的⽬标不是炫技。有些⼈掌握了⼀些数据分析⼯具以后，就像⼿⾥拿着锤⼦，看什么数据像钉⼦，恨不得⼀锤⼦砸下去。有时候，看似⾼深莫测的分析⽅法，其实未必能解决实际的问题。有时候，看似花⾥胡哨的分析图表，其实没能有效地传递信息。有时候，看似复杂庞⼤的分析⼯具，其实很多时候⽤ Excel 就能轻松解决。有时候，看似⻓篇⼤论的分析报告，其实⽤简短的⼀段⽂字就能说清楚。只有明确⽬标，才不会迷失⽅向，就像导航软件，如果没有设置⽬的地，那么它是没法告诉你路线图的。既然⽬标如此重要，那么应该如何明确数据分析的⽬标呢？下⾯ 3 个步骤，供你参考。1.1.1 正确定义问题

　有⼈说，正确地定义问题，⽐解决问题重要 100 倍。我认为这句话是有道理的，因为在解决问题之前，要先认清问题的本质。如果问题的定义都是错的，那么解决问题的⽅向可能就不对。⽐如说，⼩明听了煎饼⼤妈⽉⼊ 3 万的故事，⼼⾥就想：为什么煎饼⼤妈⽉⼊ 3 万？这个问题的定义，应该是关注「⽉⼊ 3 万」，⽽不是「煎饼⼤妈」。也就是说，⼩明想的应该是「如何实现⽉⼊ 3 万」，⽽不是「如何变成煎饼⼤妈」。1.1.2 合理分解问题

　把⼤问题分解为⼩问题，并遵循 MECE 原则，也就是要做到相互独⽴、完全穷尽。⽐如说，煎饼⼤妈如何实现⽉⼊ 3 万？这是⼀个⼤问题，可以进⾏细分。因为收⼊等于订单数乘以单价，订单数和单价是相互独⽴、完全穷尽的，符合 MECE 原则，所以能把这个问题细分为：（1）如何实现⼀个⽉卖 5000 个煎饼？（2）如何实现平均每个煎饼卖 6 块钱？为了理解 MECE 原则，这⾥再举⼀个扑克牌的例⼦，⼀幅完整的扑克牌，分为红⾊、⿊⾊和⼤⼩王，红⾊分为红⼼和⽅块，⿊⾊分为梅花和⿊桃。这样划分是相互独⽴且完全穷尽的，所以符合 MECE 原则。

　1.1.3 抓住关键问题

　把问题进⾏细分以后，可能会变成很多个问题。⽐如说，对于⼀家销售型的企业来讲，如何提⾼营业利润？如何提⾼销售额？如何提⾼订单量？如何提⾼单价？如何提⾼转化率？如何提⾼流量？如何提升⼴告效果？如何提⾼客户重复购买率？如何开发新品？如何节约成本？……当问题太多的时候，我们不能眉⽑胡⼦⼀把抓，⽽要根据业务的实际情况，抓住其中关键的问题。根据意⼤利经济学家帕累托的发现，意⼤利 80% 的⼟地为 20% 的⼈⼝所拥有。⼈们把这个发现延伸很多领域，在多数情况下，80% 的结果是由 20% 的原因造成的，故称之为⼆⼋法则。⽐如说，80% 的利润来⾃于 20% 的客户，80% 的销售来⾃于 20% 的产品，80% 的销售来⾃于 20% 的员⼯。为了集中时间和精⼒，完成更多更重要的任务，我们就要抓住 20% 的关键问题。

　总之，数据分析的⽬标，就像枪上的瞄准器，如果没有瞄准器，枪照样可以打，但是有了瞄准器，枪可以打的更准。我们不能只为了钱⽽⼯作，⽽要⽤谦卑的⼼态，关注更加⻓期的⽬标。

　1.2 数据分析的 8 种思维

　数据分析的思维，具有规律性和相对稳定性，它通常反映客观事物的本质属性，能够经得起时间的考验。培养好数据分析的思维，对我们每个⼈都会很有帮助。我总结了 8 种常⻅的数据分析思维，并⽤⼀些⼩故事进⾏举例说明。1.2.1 对⽐思维

　在我们⽇常的⼯作和⽣活中，对⽐思维其实是随处可⻅的。⽐如说，⼩明某次期末考试的成绩不好，英语只得了 30 分，⼩明的妈妈对他说：“你上次考试英语考了70 分，这次怎么就考得这么差？你看你的同班同学，这次都考 80 分以上。”从这个例⼦中可以看出，对⽐通常有两个⽅向，⼀个纵向，是指不同时间的对⽐，⽐如⽤⼩明上次考试的成绩与这次进⾏对⽐。⼀个是横向，是指与同类相⽐，⽐如拿⼩明的同班同学进⾏对⽐。为了展示对⽐思维在实践中的运⽤，假设有⼀家零售企业，今年 9 ⽉份的销售额是 110 万元。下⾯我们运⽤ 5 种常⻅的对⽐思维，来对它进⾏数据分析。（1）

　跟⽬标相⽐⾸先，我们把它跟⽬标进⾏对⽐，今年 9 ⽉份的销售⽬标是 100 万元，⽬标完成率为110%，超额完成任务⽬标，整体来看表现很好。

　（2）

　与上⽉环⽐其次，我们再把它与上个⽉进⾏对⽐，8 ⽉份的销售额是 95 万元，9 ⽉份环⽐增加了 15.8%，销售呈现增⻓的态势。

　（3）

　与去年同⽐为了进⼀步了解销售的态势，我们与去年同期进⾏对⽐，去年 9 ⽉份的销售额是 55 万元，今年 9 ⽉份的销售额同⽐增加了 100%，销售实现翻番。

　（4）

　分渠道对⽐接下来，我们分渠道进⾏对⽐，该企业有 A、B、C 三种销售渠道，虽然今年 9 ⽉份整体合计是超额完成⽬标的，但是渠道 C 并没有完成销售⽬标，应该予以重点关注，并进⼀步分析原因。

　（5）

　与同类对⽐最后，我们拿渠道 C 与同类进⾏对⽐，寻找它没有完成⽬标的原因。与同类对⽐的时候，指标的选择要更加慎重，通常⽤体现效率的指标更加合适，这⾥采⽤⼈均销售额来进⾏对⽐。渠道 C 的⼈均销售额是 5 万元，⽽⾏业平均⽔平是 6 万元，渠道 C 的⼈均效率较低，不仅低于企业内部的其他销售渠道，⽽且低于其他同类企业的平均⽔平，这是它没有完成⽬标的主要原因。所以，要想⽅设法提升渠道 C 的⼈均效率。⼩结要做好数据分析，⾸先就要学会对⽐，因为没有对⽐，就不知道好坏；不知道好坏，也就不知道下⼀步应该如何⾏动。数据分析的对⽐思维有很多种，其中⽐较常⻅的是跟⽬标相⽐、与上⽉环⽐、与去年同⽐和分渠道对⽐。在条件允许的情况下，除了内部数据之间的对⽐，还应该与外部进⾏对⽐。⽐如说，与同类企业进⾏对⽐，与⾏业的平均⽔平进⾏对⽐。在对⽐之前，要确保指标具有可⽐性，对象要具有相似性，还要让量纲保持⼀致。⽐如说，身⾼的单位是【厘⽶】，体重的单位是【千克】，属于不同的计量单位，你不能拿 A 的身⾼ 180 厘⽶，与 B 的体重 80 千克进⾏对⽐。单从数字上来看，180 ⽐ 80 要⼤，但是它们之间的对⽐没有意义。当你拿到⼀个数据之后，可以⽤不同的⽅法去进⾏对⽐，先观察在时间趋势下的波动情况，看是突然的⼤幅波动，还是在正常范围内的⼩幅波动。再按照不同的渠道进⾏细分，看看不同渠道的差异情况。还可以根据市场环境等情况，对同业其他竞争对⼿的数据进⾏数据分析。

　数据分析的过程，就是先确认事实是什么，通过对⽐等思维，然后分析原因，找到为什么，得出分析的结论和建议，从⽽指导业务决策，让管理者知道下⼀步应该怎么办。1.2.2 细分思维

　细分可以说⽆处不在，⼤到宇宙可以细分，⼩到原⼦核也可以细分。⼈⽣的⼤⽬标可以细分，某次⼩考试的成绩也可以...