olap知识点
数仓按照各种维度的组合预聚合
好处：服务端不需要聚合，直接查询速度快
坏处：每次新增维度，会增大非常多的数据，导致集群的写入压力增大很多
本质上是写入成本和查询性能之间的权衡，前期维度不是很多的时候，聚合表还是不错的，但是随着维度的增多，数据量膨胀太快，最终应该还是要归到明细数据的存储
OLAP&
...
Elasticsearch小知识
发表于
|
分类于
elasticsearch
elastic5.6.3集群中只要有一台节点fullgc了，那么cat api会卡住，无法通过cat api获取集群的一些状态；好像任何一台机器fullgc之后，都会导致这样的情况，感觉不是非常合理。
限制es的查询节点，查询中添加preference，rest client中指定的机器，需要排除
...
从CMS垃圾回收器日志看ES集群稳定性
发表于
|
分类于
elasticsearch
es堆内存配置
-Xms30g -Xmx30g
-XX:CMSInitiatingOccupancyFraction=75
查看具体的堆内存的分配大小
/usr/local/java8/bin/jstat -gccapacity 17394 1000
survivor: 629120.0，629M
...
elasticsearch之按照维度聚合&按照维度排序
发表于
|
分类于
elasticsearch
es按照某个指标聚合之后，再进行排序取top，返回的结果可能是不准的。
比如说select user_id,sum(amount) as amount from index where date between 20191101 and 20191201 group by user_id order
...
热烈庆祝Mac版有道云笔记升级
发表于
|
分类于
笔记
热烈庆祝mac平台的有道云笔记在版本3.5.5成功解决了保存笔记时候会出现多个冲突笔记的问题！！！
热烈庆祝mac平台的有道云笔记在版本3.5.5成功解决了保存笔记时候会出现多个冲突笔记的问题！！！
热烈庆祝mac平台的有道云笔记在版本3.5.5成功解决了保存笔记时候会出现多个冲突笔记的问题！！！
...
JVM与Linux的swap
发表于
|
分类于
linux
swap是Linux的一种内存管理机制，为了避免由于物理内存不足造成的OOM，在物理内存不足的时候，操作系统会将物理内存中一部分空间释放出来，这部分空间中的内容移动到磁盘中，释放出来的空间分配给需要内存的进程使用。
哪部分物理内存中的内容需要移动出来，这个系统有一定的机制，没有非常详细的研究过，不
...
spring动态代理的小坑
发表于
|
分类于
spring
动态代理的方式springboot貌似2.0前后，采用的动态代理方案不太一样：
2.0之前：实现接口的类的代理采用jdk动态代理，没有实现接口的类采用CGLib动态代理
2.0以及以后：不管是否实现接口，都默认采用CGLib代理
ps：这个分界版本可能不太准，具体可以测试一下
jdk动态代理的小
...
Linux的零拷贝技术
发表于
|
分类于
io
非零拷贝不是零拷贝的情况下是如何进行的，有什么不好的地方？
一次读取磁盘文件发送到网络的数据的拷贝过程：
用户态：用户进程开辟的内存中的数据
内核态：操作系统或者说文件系统的内存缓冲区
数据不是直接从用户进程的内存直接发送到硬件（例如磁盘、网卡），而是先通过cpu拷贝到内核缓冲区，然后不定时的
...