熊喵君的博客

一个轻量级的 golang 协程池的实现

使用 Golang-channel 实现工作池：批量并发处理

0x00 前言网络上有非常多优秀的协程池实现及原理介绍，推荐阅读下面的链接： fasthttp 的协程池实现 Goroutine 并发调度模型深度解析之手撸一个高性能 goroutine 池本文介绍如何实现 goroutine 与 Channel 机制实现一套通用的协程池，用来控制并发执行的安全性，同时提升效率。 0x01 Goroutine 高并发的问题 ...

Posted by pandaychen on July 1, 2020

GoWorker 高性能队列分析

分析一款基于 Golang 后台队列任务执行框架：benmanns/goworker

0x00 前言 goworker 是一个基于 Go 后台队列任务执行的高性能框架，下面是它的官方描述： goworker is a Go-based background worker that runs 10 to 100,000* times faster than Ruby-based workers goworker 兼容 Resque，所以可以使用 Rails/P...

Posted by pandaychen on June 30, 2020

Fasthttp 高性能 HttpServer 最佳实践之二：bytebufferpool

分析 Fasthttp 的 byte 对象池实现

0x00 前言考虑这个普遍场景：在 Golang 开发中，在从 io.Reader 中读取数据时，通常要创建一个字节切片 []byte 去存储，在高频调用或并发比较高的场景中，需要频繁的进行内存申请和释放（频繁的创建[]byte），增大了 GC 的压力；此时需要采用字节池来优化 func main() { r, _ := os.Open("some_bigfile") ...

Posted by pandaychen on June 30, 2020

Xorm 使用总结（Mysql）

Xorm-Mysql 用法及避坑总结

0x00 前言本文介绍 Xorm-MYSQL 的使用（自动分表）、超时封装、Tracing 封装及日常遇到的问题。Xorm 支持多种数据库驱动, 如: Mysql、Mariadb、Tidb、Postgres、Oracle 等等。 0x01 基础 Xorm-Mysql 的基础使用方式汇总如下，其他细节可以参见 Xorm 的官方文档 1、Engine 相关在项目中需要注意的是...

Posted by pandaychen on June 29, 2020

关于 Kafka 应用开发知识点的整理（一）

在项目中使用 Python 的 kafka 进行开发

0x00 前言项目中使用 Kafka 作为消息队列，本篇文章就个人使用 Kafka 的一些经验做一些总结。大概从下面几个方面： Kafka 的基础知识总结 Kakfa 的生产者分区选择 Kafka 的消费者组机制 Kafka 的 offset 机制？ Kafka 的消费延迟问题如何监控和优化？关于 Kafka 应用的场景 0x01 Kafka 的基本概念...

Posted by pandaychen on June 29, 2020

Kratos 源码分析：超时（Timeout）传递

Context 的用法：Warden/Database 中的超时传递实现分析

0x00 前言本篇文章，了解下 Kratos Warden 框架中的超时传递机制。在微服务中，超时和熔断、重试、Backoff 策略都是有关联的。在实际项目中，每一个 RPC 调用都应该有超时退出的能力，这是比较合理的 API 设计。在 Context Deadlines and How to Set Them 中总结了超时的要点： Return an error. Thi...

Posted by pandaychen on June 20, 2020

Kratos 源码分析：Warden 中的 gRPC validator

分析 Kratos 的 gRPC 中的字段验证器

0x00 前言 validator 的意义是什么，简言之，在协议字段定义规则，使得开发者在代码中简化对字段的验证逻辑。 0x01 使用 validator 简单的来说，开启 gRPC 中的协议字段校验需要如下两步： proto 协议中按照指定 validator 包的规则定义字段的校验规则在 gRPC 的 server 端、client 端中开启 validato...

Posted by pandaychen on June 13, 2020

Kratos 源码分析：Naming 解析（上）

分析 Naming 的多消费者订阅 - Watcher 模式

0x00 前言分析下 Kratos 框架中的服务注册与发现的代码。准备分为两篇文章，一篇介绍 Naming 的公共接口及基于 Etcd 的 naming 机制实现，另一篇文章介绍 Warden 库是如何使用 Naming 的接口来完成服务注册与发现机制。总体而言，Kratos 的 Naming 逻辑分为如下几块：公共的 Naming 逻辑与接口封装 ...

Posted by pandaychen on June 13, 2020

Kratos 源码分析：Kratos 中的 Metadata 元数据

一种全局变量的存储方式：Metadata

0x00 前言看看下面这个例子，将 map[string]interface{} 定义成一个类型，这样直接 newmap:=MD{} 生成的对象就是一个 map（虽然这种语法看起来很奇怪）。理解此用法是分析 Metadata 的基础。 type mdKey struct{} type MD map[string]interface{} func main(){ f...

Posted by pandaychen on June 10, 2020

Kratos 源码分析：Lazy Load Container

分析 Kratos 的懒对象容器及应用场景

0x00 前言所谓懒加载（Lazy）就是延时加载，延迟加载。至于为什么要用懒加载呢，就是当我们要访问的数据量过大时，明显用缓存不太合适，因为内存容量有限，为了减少并发量及系统资源的消耗，我们让数据在需要的时候才进行加载。这就是懒加载。在数据、策略等需要 “分组（组中以 Name 区分）” 的情况下，非常适合使用该方式实现存储（取），这里存储的值以 interface{} 表示，可...

Posted by pandaychen on June 6, 2020