熊喵君的博客

Thinking will not overcome fear but action will.

Golang 的分布式任务队列：Asynq 分析

0x00 前言 asynq：Golang distributed task queue library，许多设计思想都来自sidekiq。官方文档给出的特点如下（省略了若干）： 任务已写入Redis后会持久化（支持Redis Cluster/Sentinels） 任务执行失败自动 retry 支持任务优先级权重（加权优先级队列） 支持定时发送任务 可使用 uni...

Posted by pandaychen on August 18, 2021

数据结构与算法回顾（七）：Golang 中的 Sort 算法实现解析

排序算法回顾

0x00 前言 本文分析下 golang 的 sort 算法实现 0x01 sort 的典型使用 Golang 的 sort.Sort 使用了一个接口类型 sort.Interface 来指定通用的排序算法和可能被排序到的序列类型之间的约定。这个接口的实现由序列的具体表示和它希望排序的元素决定，通常排序的对象是 slice case1：[]int 排序 对 []int slice ...

Posted by pandaychen on August 1, 2021

数据结构与算法回顾（一）：多阶 hash

一种高利用率的 hash 存储结构分析

0x00 前言 hashtable 是一种非常高效的数据结构，它通过散列函数将 key 映射成数组下标以达到 O(1) 算法复杂度的高效数据结构，通常对于不同的 key 哈希函数算出的结果出现哈希碰撞，解决方式通常有：开放地址法、再哈希法、链地址法。多阶（级）Hashtable 是一种极其精妙的实现，常用于海量数据（如 UIN、即时通讯关系链等）的存储，此外，结合 Linux 共享内存机制，...

Posted by pandaychen on August 1, 2021

Kubernetes 应用改造（八）：如何在 TKE 上搭建 Redis 环境

Statefulsets 应用场景

0x00 前言 本篇文章总结下，项目背景是需要在 Kubernetes 集群中部署 Redis 单机 / 集群，需要利用 Statefulsets 与 NFS 来生成。 0x01 单机 Redis 搭建 创建 ConfigMap 首先，把 Redis 的配置文件 redis.conf 存储在 configmap 中，注意其中定义的 Redis 运行目录：/data/middlewar...

Posted by pandaychen on July 11, 2021

安全：KMS 的那些事

KMS 原理与使用

0x00 前言 密钥管理系统（Key Management Service，KMS）是一款安全管理类服务，可以让您轻松创建和管理密钥，保护密钥的保密性、完整性和可用性，满足用户多应用多业务的密钥管理需求，符合监管和合规要求。 KMS 是基于硬件加密机的云上密钥管理系统，核心服务如下： 密钥的全生命周期管理 加密、解密算法 真随机数 密钥轮换 0x01 KM...

Posted by pandaychen on July 10, 2021

Golang ReverseProxy 分析

原生库的反向代理代码分析

0x00 前言 在工作项目中，曾使用 gin 与 httputil.ReverseProxy 实现了认证网关和反向代理的功能，该认证网关的主要流程为： 1、 通过 gin 实现的 https 网关 接收浏览器 Web 发起的请求 2、 网关通过 httputil.ReverseProxy 发起一个带 API 签名的 HTTP 请求给后台 CGI 服务，实现代理功能 3、 网关接收到后台...

Posted by pandaychen on July 1, 2021

一个基于 golang 的轻量级 IM 项目分析：gochat

分析一款实时通信 IM 项目 gochat

0x00 开篇 gochat 是一款基于 golang 实现轻量级的 im 系统。技术上各层之间通过 RPC 通讯，使用 Redis 作为消息存储与投递的队列，模块间基于 etcd 的服务发现。其架构和 goim 很相像。本文简单了解下下面两个功能的实现： 点对点的消息发送（用户对用户） 点对面的消息发送（用户在房间里广播消息） 涉及到业务流程： 用户注册 &...

Posted by pandaychen on June 30, 2021

GoWorkers 通用异步工作队列分析

分析一款基于 Golang 后台队列任务执行框架：jrallison/go-workers

0x00 前言 go-workers 是 sidekiq 的 go 实现，异步队列框架。完全满足了基于 redis queue 的任务调度工作，同时支持了自定义 middleware 供接入者开发延伸需求，仅支持 redis，支持延时任务。作者给出的特点如下： reliable queueing for all queues using brpoplpush handles...

Posted by pandaychen on June 30, 2021

DiDi 开源 API 网关 gatekeeper （v1.0）项目分析

一个微服务网关的设计与实现

0x00 前言 Didi-gatekeeper 是一个 Golang 的不依赖分布式数据库的 API 网关（基于 gin），使用它可以高效进行服务代理，支持在线化热更新服务配置以及纯文件方式服务配置，支持主动探测方式自动剔除故障节点以及手动方式关闭下游节点流量，还可以通过自定义中间件方式灵活拓展其他功能。 本文主要分析下其实现中可以借鉴的思路及细节： 插件式中间件引入 部署架...

Posted by pandaychen on June 10, 2021

Golang 的分布式任务队列：Machinery （v1）分析（二）

Machinery 应用场景梳理&&使用说明

0x00 前言 通常，在设计业务模型中，Machinery 的 Worker 通常用于处理复杂 / 耗时的任务，即通过异步任务的方式来增加系统的吞吐量，减少同步请求的耗时。 0x01 应用场景 1：异步处理大量耗时任务 如业务场景中对涉及到大文件的用户数据导入及下载，数据删除等耗时场景，就比较适合用 Machinery 来做异步化处理： 用户数据导入：客户端上传数据集压缩包后，...

Posted by pandaychen on May 1, 2021

FEATURED TAGS
Latex gRPC 负载均衡 OpenSSH Authentication Consul Etcd Kubernetes 性能优化 Python 分布式锁 WebConsole 后台开发 Golang OpenSource Nginx Vault 网络安全 Perl 分布式理论 Raft 正则表达式 Redis 分布式 限流 go-redis 微服务 反向代理 ReverseProxy Cache 缓存 连接池 OpenTracing GOMAXPROCS GoMicro 微服务框架 日志 zap Pool Kratos Hystrix 熔断 并发 Pipeline 证书 Prometheus Metrics PromQL Breaker 定时器 Timer Timeout Kafka Xorm MySQL Fasthttp bytebufferpool 任务队列 队列 异步队列 GOIM Pprof errgroup consistent-hash Zinx 网络框架 设计模式 HTTP Gateway Queue Docker 网关 Statefulset NFS Machinery Teleport Zero Trust Oxy 存储 Confd 热更新 OAuth SAML OpenID Openssl AES 微服务网关 IM KMS 安全 数据结构 hashtable Sort Asynq 基数树 Radix Crontab 热重启 系统编程 sarama Go-Zero RDP VNC 协程池 UDP hashmap 网络编程 自适应技术 环形队列 Ring Buffer Circular Buffer InnoDB timewheel GroupCache Jaeger GOSSIP CAP Bash websocket 事务 GC TLS singleflight 闭包 Helm network iptables MITM HTTPS Tap Tun 路由 wireguard gvisor Git NAT 协议栈 Envoy FRP DPI gopacket Cgroup Namespace DNS eBPF GoZero Gost Clash Tracee gopsutil Linux HIDS ELKEID XDP TC Systemd netlink Kernel rootkit bpftrace
ABOUT ME

✉️ ringbuffer@126.com

FRIENDS