博客
关于代码、AI 和产品的思考和笔记。
Spark SQL 用法手册
Spark SQL 用法手册> 适用场景：日常写 Spark SQL 多、PySpark 少的数据开发岗位。纯 SQL 语法、带测试数据、每类方法说明用法并展示运行效果。>> 环境：Spark 3.x，使用 spark.sql() 执行。以下所有示例在 Spark Thrift Server 或 spark-sql CLI 中也可直接运行。 优秀资料分享[Spark SQL 函数分类导航](ht
Spark SQL 内核精解：三层架构视角下的全链路拆解
Spark SQL 内核精解：三层架构视角下的全链路拆解> 适用读者：有一定大数据开发经验，但希望深入理解 Spark SQL 内部原理的数据工程师、数据平台开发人员。>> 阅读方式：本文采用逐层递进的结构——每章只引入该层的新概念并配模块图，最后一章才拼出完整全景图。建议顺序阅读，不要跳读。>> 全文线索：跟随一条 SELECT DISTINCT(query) FROM query_table
统计建模-假设检验和回归分析
假设检验 和 回归分析 假设检验：判断差异是不是"真的" 核心问题你观察到 CTR 从 12% 变成 13%，这1%的提升到底是排序策略真的有效，还是纯粹随机波动？任何指标天天都在波动，哪怕什么都没变，今天12.3%明天11.8%都很正常。假设检验要解决的就是：怎么判断"看到的差异"够不够大，大到不能用随机波动解释。 为什么能做到——背后的逻辑链 第一步：假设"什么都没变"（零假设）零假设 H