python培训-星际开户

python 大数据开发课程大纲

• sql基础

• hadoop技术栈

• 千亿级离线数仓项目

• 千亿级离线数仓项目实战

• python基础编程

• etl实战

• bi报表开发项目实战(新增)

• spark技术栈

• 用户画像星际开户的解决方案

• pb级内存计算项目实战

• 基于ai大模型数据开发项目(新增)

• 面试加强

• 阿里云实时计算flink全栈开发(更新)

• 阿里云实时计算项目(更新)

sql基础课时：8天

主要内容

· linux操作系统· mysql与sql· kettle与bi工具· 电商运营指标分析

可解决的现实问题

熟练掌握mysql\sql、kettle以及bi工具使用，能够解决传统数仓业务开发任务。

可掌握的核心能力

1. 掌握mysql数据库的使用；
2. 掌握sql语法；
3. 掌握kettle数据迁移工具的使用；
4. 熟练使用bi可视化工具；
5. 对数据开发有一定认知，掌握bi工程师所具备的基本技能。

hadoop技术栈课时：11天

主要内容

· 大数据开发hadoop基础· hive基础· hive进阶

可解决的现实问题

熟悉linux操作系统，以及各种linux命令，能够解决企业级大数据集群搭建问题，为进阶大数据开发奠定基础。

可掌握的核心能力

1.掌握linux常用命令，为数据开发后续学习打下的良好基础；
2.掌握大数据的核心框架hadoop以及其生态体系，完成hdfs、mapreduce及yarn机制基本理解与使用；能够搭建hadoop高可用ha集群；
3.掌握hive的使用和调优；
4.具备hadoop开发能力、离线数据仓库开发能力；
5.能够完成基本构建企业级数仓。

千亿级离线数仓项目课时：11天

主要内容

· 大数据部署运维：cloudera manager · 分析决策需求：数据仓库 · 数据采集：datax
· 数据分析：hive· 数据调度：dolphinscheduler · olap系统存储：postgresql
· fine report数据报表与大屏· 数仓建模: 范式与维度建模
· 五大核心主题域开发: 销售域、供应链域、会员域等

可解决的现实问题

能够解决企业级常见数据仓库搭建，从项目的需求、技术架构、业务架构、部署平台、etl设计、作业调度等整套pipeline，完成大数据体系下的企业级数据仓库构建。

可掌握的核心能力

1.掌握泛电商行业离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程；
2.行业内首个深度讲解数仓建模模型方案的主体项目；
3.包括海量数据场景下如何优化配置；
4.掌握项目迁移能力，能够将项目迁移至泛电商的各个领域；
5.掌握在泛电商行业中关于全量与增量数据处理模式；
6.提供泛电商行业下的数据存储分析以及服务监控方案。

千亿级离线数仓项目实战课时：5天

主要内容

· 大数据部署运维：cloudera manager· 分析决策需求：数据仓库 · 数据采集：sqoop · 数据分析：hive · 分组完成项目

可解决的现实问题

按照企业级大数据开发流程，独立完成项目开发，掌握企业级多场景大数据离线数仓开发能力，从数仓分层，数仓建模，指标统计，指标展示完成完整的大数据项目。

可掌握的核心能力

1.掌握教育行业离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程；
2.真实业务逻辑，共涉及20多个主题，100多个指标，提升学员在教育行业中的核心竞争力；
3.包括海量数据场景下如何优化配置；
4.拉链表的具体应用；
5.新增数据和更新数据的抽取和分析；
6.hive函数的具体应用；
7.clouderamanager可视化、自动部署和配置、git、codereview功能。

python基础编程课时：8天

主要内容

· python基础语法· python面向对象· python高级语法· python多任务编程· python网络编程

可解决的现实问题

熟练掌握python语言，建立编程思维，使学员能够熟练使用python技术完成程序编写。
熟练使用python面向对象程序设计思想，掌握数据开发必备python高级语法，解决常见python开发问题。

可掌握的核心能力

1.掌握python开发环境基本配置；
2.掌握运算符、表达式、流程控制语句、数组等的使用；
3.掌握字符串的基本操作；
4.初步建立面向对象的编程思维；
5.熟悉异常捕获的基本流程及使用方式；
6.掌握类和对象的基本使用方式；
7.知道多进程多线程的原理。

etl实战课时：5天

主要内容

· etl概念与工具· etl项目需求分析· etl项目架构设计· python etl实战

可解决的现实问题

掌握python完成数据etl实战，能够解决中小型数据量数据处理相关任务。

可掌握的核心能力

1. 掌握etl的相关概念；
2. 掌握基于python语言完成etl任务开发实战；
3. 基于etl实战锻炼python编程能力，包括（元数据管理、数据模型、项目配置、单元测试、工具方法抽取等）；
4. 掌握bi数据分析实战。

bi报表开发项目实战课时：3天

主要内容

· bi报表开发需求分析· bi报表工具· finereport报表入门· 泛电商行业五大主题的实现

可解决的现实问题

掌握使用量最广bi报表开发工具finereport，能够基于finereport完成不同行业bi报表开发及业务决策。

可掌握的核心能力

1.掌握bi报表开发需求分析
2.掌握bi报表工具
3.掌握finereport报表

spark技术栈课时：10天

主要内容

· 大数据spark技术栈· sparksql数据处理与统计分析· spark案例实战

可解决的现实问题

掌握全球热门的spark技术栈，通过sparkcore和sparksql解决数据处理与统计分析工作，进阶高级大数据开发工程师。

可掌握的核心能力

1. 掌握spark的rdd、dag、checkpoint等设计思想；
2. 掌握sparksql结构化数据处理，spark on hive；
3. 掌握structured streaming整合多数据源完成实时数据处理；
4. 具备spark全栈开发能力，满足大数据行业多场景统一技术栈的数据开发，提供就业核心竞争力。

用户画像星际开户的解决方案课时：10天

主要内容

· sparksql整合es自定义数据源· ds任务界面化调度· 用户画像标签构建规则· 用户画像规则类标签构建· 用户画像统计类标签构建

可解决的现实问题

项目提供了全行业用户画像星际开户的解决方案, 使用sparksql es ds构建企业级用户画像，通过sparksql mysql构建通用行业用户画像标签体系。

可掌握的核心能力

1.掌握sparksql整合es自定义数据源；
2.掌握用户画像构建流程；
3.掌握用户画像标签构建规则；
4.掌握用户画像规则类标签构建；
5.掌握用户画像统计类标签构建。

pb级内存计算项目实战课时：3天

主要内容

· 多场景画像标签项目实战· 基于spark全栈技术构建企业级大数据开发平台

可解决的现实问题

基于spark全栈技术构建企业级大数据开发平台，学生分组独立完成项目实战，能够胜任常见大数据平台开发工作，助力企业实现数字化转型。

可掌握的核心能力

1.掌握保险行业数据分析流程；
2.掌握保费计算流程；
3.掌握ds调度流程。

基于ai大模型数据开发项目实战课时：2天

主要内容

· chatgpt生成代码· chatgpt改bug· 基于ai大模型的出行大数据平台数仓搭建· 基于ai大模型指标开发

可解决的现实问题

掌握如何使用ai大模型帮助数据开发和数据分析编程效率提升，具备使用ai大模型解决问题的能力。

可掌握的核心能力

1.完成chatgpt基础使用；
2.基于chatgpt可以完成改bug，写注释，生成代码等常见编程任务；
3.能够基于合理的prompts提示词进行提问，助力提升编程效率。

面试加强课时：4天

主要内容

· 核心技能知识点以及常见面试题强化学习

可解决的现实问题

对学习的内容进行整体回顾，并分析经典面试题，指导简历，面试和沟通技巧。

可掌握的核心能力

1.强化面试就业核心面试题；
2.梳理大数据架构及星际开户的解决方案；
3.剖析多行业大数据架构。

阿里云实时计算flink全栈开发课时：5天

主要内容

· 阿里云flink入门· flink sql· flink作业开发· 阿里云flink运维

可解决的现实问题

掌握当下热门的流批一体化分布式计算框架阿里云flink及其生态，解决实时计算经典场景问题，适应市场对阿里云flink越发增长的需求。

可掌握的核心能力

1.掌握基于阿里云flink进行实时和离线数据处理、分析；
2.掌握基于阿里云flink的多流并行处理技术；
3.掌握flinkcdc多数据源采集技术。

阿里云实时计算项目课时：5天

主要内容

基于阿里云flink kafka paimon 湖仓一体技术架构，实现在线视频行业大规模流数据处理和实时分析。本项目依托 阿里云 flink 流处理计算引擎， 通过 flinkcdc 实时采集 rds mysql 数据库数据，实现数据采集的断点续传，使用kafka 作为实时数仓，使用 paimon 实现数据的持久化和flink 批处理，实现计算的流批一体，数据存储的湖仓一体，采用starrocks对接datav完成实时业务大屏展示。

可解决的现实问题

采集超过千万条在线视频的数据，实时高性能海量数据分析与存储业务数据实时大屏场景实现。

可掌握的核心能力

1.湖仓一体化星际开户的解决方案基于flink paimon湖仓一体技术架构；
2.基于flinkcdc完成mysql等数据源的数据采集；
3.flinksql流批一体架构实现实时数据计算；
4.使用starrocks进行海量多维分析；
5.掌握数据报表分析；
6.掌握业务数据实时大屏场景实现。