Hbase的原理以及在ADT的应用 发表于 2019-04-03 | 分类于 hbase 目录 [toc] 1 Hbase的应用场景 HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一 ... 阅读全文 »
Hbase学习笔记 发表于 2018-05-20 | 分类于 hbase Hbase的架构 zookeeperHBase利用ZooKeeper维护集群中服务器的状态并协调分布式系统的工作。ZooKeeper维护服务器(例如master节点和region server节点)是否存活、是否可访问的状态并提供服务器故障/宕机的通知。ZooKeeper同时还使用一致性算法来保证 ... 阅读全文 »
Apache HBase IO – HFile(翻译) 发表于 2018-05-19 | 分类于 hbase 原文链接 介绍 Apache HBase是Hadoop开源,分布式,版本化的存储管理器,非常适合随机,实时读/写访问。 等等?随机的、实时的读写? 怎么可能?Hadoop不仅仅是一个连续的读/写批处理系统吗? 是的,我们在谈论同样的事情,在接下来的几段中,我将向您解释HBase如何实现随机I / ... 阅读全文 »
E.3. HBase file format with inline blocks (version 2)(翻译) 发表于 2018-05-19 | 分类于 hbase 原文链接 Overview A version 2 HFile is structured as follows: Unified version 2 block format 在版本2中,数据部分中的每个块都包含以下字段: (1) 8字节字节序列,用于标识块类型,这个字节序列相当于版本1的” ... 阅读全文 »
B-Tree和B+Tree学习笔记 发表于 2018-05-19 | 分类于 数据结构 索引的基本概念 MySQL官方对索引的定义为:索引(Index)是帮助MySQL高效获取数据的数据结构。提取句子主干,就可以得到索引的本质:索引是一种数据结构。 在数据之外,数据库系统还维护着满足特定查找算法的数据结构。这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构上实现高级查找 ... 阅读全文 »
JVM类加载机制学习笔记 发表于 2018-05-15 | 分类于 java JVM类加载机制 源代码被编译成class文件 class文件通过jvm的类加载器进行加载 class的执行包括解释执行和编译执行,两种执行方式都有很多优化 JVM中线程资源同步的机制和线程之间交互的机制 与那些在编译时需要进行连接工作的语言不同,在Java语言里面,类型的加载、连接和初始化过程 ... 阅读全文 »
scylla architecture(翻译官方文档) 发表于 2018-05-09 | 分类于 scylladb 原文链接 架构对比 Scylla是NoSQL数据存储设计的新方法,针对现代化硬件进行了优化 传统堆栈 锁竞争 缓存竞争 NUMA(非统一内存访问)不友好 seastar的共享堆栈 没有竞争 线性扩展 NUMA友好 架构对比: 传统的nosql数据存储包括一个建立在linux操作系统之上的J ... 阅读全文 »
scylladb overview(翻译官方文档) 发表于 2018-05-09 | 分类于 scylladb 原文链接 实时的大数据存储 Scylla以不到1毫秒的延迟时间为您的应用程序提供1,000,000次OPS Scylla是一款入门级的Apache Cassandra替代产品,可为您的应用提供超低延迟和极高的吞吐量。 利用Apache Cassandra在高可用性,容错性和丰富的生态系统方面的优势 ... 阅读全文 »
Flink的事件时间和watermarks(翻译Flink官方文档) 发表于 2018-05-02 | 分类于 flink 翻译:Event Time Event Time / Processing Time / Ingestion Time(事件时间/处理时间/摄入时间) flink支持不同的时间概念: 处理时间:当前机器处理该条事件的时间 流处理程序使用该时间进行处理的时候,所有的操作(类似于时间窗口)都会使 ... 阅读全文 »
翻译:HBase-Architecture-Analysis-Part1-Logical-Architecture 发表于 2018-04-19 | 分类于 hbase 原文链接 1. 总览 Apache HBase是一个开源的面向列的数据库。它通常被描述为一个稀疏的,一致的,分布式的,多维排序的Map。 HBase模仿Google的“Bigtable:一种分布式结构化数据存储系统”,它可以容纳数十亿行,X百万列的超大型表格。 HBase是一个no-SQL数据库, ... 阅读全文 »