栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 前沿技术 > 云计算 > Docker/k8s

实现分布式 Kv-1 Standalone KV

Docker/k8s 更新时间:发布时间: 百科书网 趣学号



本文转载自微信公众号「roseduan写字的地方」,作者roseduan。转载本文请联系roseduan写字的地方公众号。

旨在实现一个简易的分布式 kv,其中很多代码框架它已经提供了,我们只需要填充具体的逻辑即可。

这个课程分为了 4 个 Project:

Standlone KV Raft KV Multi Raft KV Transaction

分别需要实现单机版 kv、基于 raft(和 multi raft) 一致性算法的 kv、具有分布式事务的 kv,除了第一个 standalone kv 没有什么难度之外,其他的几个 Project 都非常的有挑战,涉及到手写 raft 算法以及分布式事务。

当然这个课程也是入门和实践分布式存储领域的挺好的学习资源,因此记录一下自己的学习历程。

今天这篇文章先来看看第一个 Project。

第一个 Project 是集成 Badger,实现一个简易的单机版 kv。

Badger 是一个很优秀的开源的单机版 kv 存储引擎,基于 LSM Tree 实现,读写性能都很好,因此需要简单熟悉下 Badger 的用法,可以参考下官方示例:github.com/dgraph-io/bager。

在 TinyKV 中,存储层是一个抽象接口,分别实现了 raft storage、mem storage、standalone storage,这里我们只需要实现 standalone storage 就行了。

具体的实现,在 kv/storage/standalone_storage/standalone_storage.go 中,需要封装一下 Badger,然后实现 storage 接口中定义的几个方法。

这里贴一下结构体的定义:

  1. type StandAloneStorage struct {   // Your Data Here (1). 
  2.   badgerDB *badger.DB   options badger.Options 

需要说明的是,在 Reader 方法中,需要返回一个 StorageReader 接口,这是一个抽象接口,具体逻辑需要我们自定义。

  1. func (s *StandAloneStorage) Reader(ctx *kvrpcpb.Context) (storage.StorageReader, error) {   // Your Code Here (1). 
  2.   txn := s.badgerDB.NewTransaction(false)   reader := NewStandaloneReader(txn) 
  3.   return reader, nil } 

例如我定义了一个 StandaloneReader:

  1. type StandaloneReader struct {   txn *badger.Txn 
  2. }  
  3. func NewStandaloneReader(txn *badger.Txn) *StandaloneReader {   return &StandaloneReader{ 
  4.     txn: txn,   } 

这里完成之后,还需要在 kv/server/raw_api.go 中完善相应的 gRPC 接口,直接解析传过来的参数,然后调用 Storage 接口中的方法即可。这里展示一个示例:

  1. func (server *Server) RawGet(_ context.Context, req *kvrpcpb.RawGetRequest) (resp *kvrpcpb.RawGetResponse, err error) {   // Your Code Here (1). 
  2.   resp = &kvrpcpb.RawGetResponse{}  
  3.   // get storage reader.   var reader storage.StorageReader 
  4.   reader, err = server.storage.Reader(req.Context)   if err != nil { 
  5.     return   } 
  6.   defer reader.Close()  
  7.   val, err := reader.GetCF(req.Cf, req.Key)   if len(val) == 0 { 
  8.     resp.NotFound = true   } 
  9.   resp.Value = val   return 

这里的几个接口完成之后,一个完整的 Standalone KV 就完成了。

 

你可以把 TinyKV 的代码 clone 下来,然后自己跟着我的节奏做,一步一步坚持下去,相信能够在分布式存储领域有个初步的认知。

 

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/796699.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号