BI工具-取数分析 全链路监控平台-指标异常（销售额突然降低很多） 数据资产管理 画饼的能力，组内画饼也很重要，调用组员积极性 数据服务的工作，很多跟数仓的工作耦合在一起，尤其是一些自驱的项目，类似于自助取数工具，或者是一些全链路监控的质量保证系统，都是强耦合在数仓的，所以一些工作最好由数仓和服务 ...

为什么要做单元测试 保证代码质量 一定程度提高代码合理性：当我们发现给一个方法写单测非常困难，比如单测需要覆盖的分支非常多，那可能说明方法可以拆分；又比如单测需要mock的调用非常多，那可能说明方法违背了单一责任原则，处理了太多的逻辑，也可以拆分等等。 有效防止回溯问题（regression iss ...

多维分析的重点功能： 下钻分析 下钻分析魔数的下钻分析 写好sql：select date_scale,bu_id,catering_pay_amt,catering_pay_amt_frozen_meat from kldp_data_stat.app_mobile_dashboard_cor ...

底层存储方法论存储方案对比： 应用场景 读写性能 读写稳定性 发展前景 如何学习 实践配合：结合需求、负责项目 落地：文档落地、实践落地、分享总结 自身的优劣势如何调研

底层数据模型目前三种模型： 模型A：各种维度组合的重度聚合结果（cube） 模型B：到中间维度（鉴权维度）的中度聚合模型 模型C：到明细粒度（sku、客户）的的轻度聚合模型 自定义看板不适合使用模型A：因为是自定义，所以场景是通用的，必然存在鉴权问题，只要有鉴权，就不能用数仓的维度组合的聚合结果 ...

123452021H1小组述职记录1. 数据框架上了解，数据处理的流程2. 对数据交付有一个明确的标准，比如说准确性和及时性，衡量结果用数据说话3. 了解清楚需求的背景、目标、收益4. 说话太腼腆 设计原则单一职责原则并不单单指方法或者类的单一职责，对于微服务来讲，仍然是大的指导原则，每个服务的职 ...

离线T+1的数据分析场景由于数据是T+1的，只有昨天的数据，所以缓存的性价比将会非常高： 每天的数据刷新之前，基本上早晨8点到第二天早晨8点，数据是不变的，缓存的时间可以设置的时间比较长 难点： 第二天数据刷新之后，如何能够立刻清除缓存，保证用户请求到的数据是最新跑完的 如何能够一次性清除某个 ...

手动触发full gc使用jmap -histo[:live] pid查看堆内存中的对象数目、大小统计直方图。如果带上live则只统计活对象，jvm进行Full GC 后，进行统计。 jmap -dump:format=b,file=文件名 [pid]导出Dump文件，可以用相关工具(jhat/jv ...

限流相关概念限流和限频 接口的限流策略，接口的参数共用这个策略的阈值； 接口的限频策略，接口的每一个参数独立复制一份限频阈值。 比如，一个接口方法 method( int param) ，配置的阈值是10qps。如果配置的是限流策略，则不管param值是多少，整个method方法访问的qps只能是 ...

任务性质与线程池在实际的开发中，我们需要根据任务的性质（IO是否频繁？）来决定我们创建的核心的线程数的大小，实际上可以从以下的一个角度来分析： 任务的性质：CPU密集型任务、IO密集型任务和混合型任务； 任务的执行时间：长、中和短； 任务的依赖性：是否依赖其他系统资源，如数据库连接； 性质 ...