hg-store-node-note
store-node阅读笔记在看store-node的源码之前，首先需要知道这个包是做什么的： 这个包主要启动了Raft的节点服务，负责节点生命周期的管理、分区/Raft任务的提交(主要)、扫描/聚合查询流水线、TTL 清理任务、以及 RocksDB/JRaft/系统层指标采集等能力。 向外提供了grpc(供内部组件使用)和一些Rest API(用户来管理
hg-store-core-refactor
hg-store-core 重构代码阅读这个模块主要是增删改查一些功能的实现方法，属于在RocksDB的上层封装。 graph LR B[hg-store-rocksdb] -->|封装| A[RocksDB] C[hg-store-core] -->|封装| B /bussiness 增删改查的主要实现新增了很多iterator定义，都实现了ScanIte
completable-future学习笔记
CompletableFuture 学习笔记文章链接：https://tech.meituan.com/2022/05/12/principles-and-practices-of-completablefuture.html 利用java8的CompletableFuture 12345678910111213141516171819202122import java.util.concurre
Qwen&GPT2 模型架构
GPT2/Qwen2 模型架构Transformer在介绍GPT2与Qwen2的模型架构前，首先需要简单的回顾一下Transformer架构，这里就默认读者已经基本了解Transformer了，贴出一个图。 左侧是Encoder部分而右侧是Decoder部分。至于为什么需要将Encoder的输出输入到Decoder当中，以一个机器翻译任务举例。我爱你 -> I love you 首
CUDA实现并行求和
CUDA中的网格跨步循环参考 https://www.codeleading.com/article/6260306169/cuda中的kernel我们一般会这样写 12345__global__ void parallel_run(int n){ for(int i = threadIdx.x + blockIdx.x * blockDim.x;i < n;i += blo
CUDA共享内存
CUDA共享内存SM(Streaming Multiprocessors)与板块(block)在先前我们利用网格跨步循环实现了数组的加法，但是其中利用了atomicAdd()这样的原子化操作导致实际上每一个线程都是串行化进行了，并不能发挥GPU的并行计算能力。 如果不使用原子计算的方式，我们就要将sum变为数组，下边的这段代码每一个线程计算一段地址0-1023， 1024-2045 …，将求和的大
RoPE位置编码
旋转位置编码 RoPE标准Transformer绝对位置编码标准 Transformer 的位置编码通常采用绝对位置编码，也就是对于一句话中每个词（token）的位置： $$p_{k,2i}=\sin\left(\frac{k}{10000^{\frac{2i}{d}}}\right)$$$$p_{k,2i+1}=\cos\left(\frac{k}{10000^{\frac{