熊喵君的博客

Thinking will not overcome fear but action will.

Cronsun：任务统一集中管理（调度）系统设计与分析

分析一款典型的分布式任务调度系统

0x00 开篇 cronsun 是一个分布式任务系统，单个节点和 Linux 机器上的 crontab 类似，目的是解决多台 Linux 机器上 crontab 任务管理不方便的问题，同时提供任务高可用的支持（当某个节点死机的时候可以自动调度到正常的节点执行），此外，有页面配置及告警邮件支持等。汇总如下3点： 替换 crontab 执行不能单点失败的任务，具备一定可靠性运行...

Posted by pandaychen on June 20, 2022

Bash 日常应用总结

A Linux Bash Cookbook

0x00 前言 本文汇总下笔者常用的Bash指令备份 0x01 BASH 1、批量查找文件内容 主要使用grep -rl，如下面指令，查询当前目录下所有出现yyyy字符串的文件列表： grep yyyy -rl --include="*.txt" ./ 2、批量替换文件内容 常用sed搭配grep指令使用，如下面指令，将当前目录./下的所有.txt文件中的yyyy字符串替换为xxxx...

Posted by pandaychen on June 10, 2022

golang-LRU 缓存设计与实现（二）

分析 go-zero 中的进程内缓存库 collection.Cache 实现

0x00 开篇 本文分析下 go-zero 框架的 LRU-cache 组件 实现，此库有如下特性： 缓存增删改，自动失效，可以指定过期时间（基于 TimeWheel 时间轮策略实现了 TTL 过期的机制，很精妙）；缓存大小限制，可以指定缓存个数 LRU 支持 缓存命中率统计 并发安全，解决缓存击穿问题 解决缓存击穿问题（syncx.SingleFlight 机制...

Posted by pandaychen on June 2, 2022

一种基于 TTY-based 的 kubernetes console 实现思路

如何使用 ssh 协议打通 kubernetes EXEC 登录？

0x00 开篇 网上基于 websocket 打通 kubernetes pod 的实现非常多，但是受限于 webconsole 的不便利性，这边文章来分析下如何使用 SSH 方式打通 kubernetes 的登录 Kubectl exec 的原理简介 通过 kubectl exec 进行容器的数据流如下： 0x01 实现思路 1、remotecommand 暴露的 E...

Posted by pandaychen on June 1, 2022

CAP 分析 && 实战：Gossip 协议

AP 协议：gossip && hashicorp/memberlist 分析

0x00 前言 前文 Etcd 最佳实（踩）践（坑） 中，了解 CAP 定理中，满足 AP 的典型协议就是 Gossip，本文就介绍下该协议。 Gossip protocol 也叫 Epidemic Protocol （流行病协议），是一种 去中心化、容错并保证最终一致性的协议；其基本思想是通过不断的和集群中的节点 Gossip 交换信息，经过 O(log(N)) 个回合, Goss...

Posted by pandaychen on June 1, 2022

分布式链路追踪（OpenTracing）之应用篇

使用 http/gin 构建 OpenTracing 机制

0x00 前言 前文 微服务基础之链路追踪（OpenTracing） 介绍了分布式链路追踪的理论知识，本文基于 net/http、gin 等库来构建客户端到服务端的 OpenTracing 实践（使用 jaeger 接入） APM 就是跟踪一个 traceId 在多个微服务中的传递并记录。在进入第一个服务的时候，就生成一个 traceId，接下来这个 traceId 将跟随整个微服务...

Posted by pandaychen on June 1, 2022

Golang 中的错误处理

如何优雅的处理 Golang 错误以及 gRPC 的错误

0x00 前言 本文总结下如何优雅的处理 golang 的错误： 本地 error gPRC 中的错误 再次明确下，golang 中的 error 只是简单的接口，任何实现了 Error() 方法的 struct 都可以用来处理错误信息。 // The error built-in interface type is the conventional interface ...

Posted by pandaychen on May 30, 2022

数据结构与算法回顾（五）：golang 的 container 包

list、heap 和 ring

0x00 前言 golang 的标准库 container 中，提供了 heap/list/ring 的实现。本文简单分析下实现和应用。 0x01 heap 以 minheap 最小二叉堆为例，堆具有以下特性： 任意节点小于它的所有子孙节点，最小节点在堆的根上（堆序性） 堆是一棵完全树（complete tree）：即除了最底层，其他层的节点都被元素填满，且最底层尽可能地从左到右...

Posted by pandaychen on May 30, 2022

Golang 的分布式缓存库：GroupCache 分析

分析一个 GroupCache 的应用

0x00 前言 groupcache 是一个分布式缓存库，支持多节点互备热数据，有良好的稳定性和较高的并发性。测试用例，可以参考此文章：Playing with groupcache；此外，还可以参考作者的幻灯片：dl.google.com: Powered by Go 先前讨论缓存更新时，分布式场景下需要解决 缓存更新导致的缓存一致性问题，而 GroupCache 仅支持外部 ge...

Posted by pandaychen on May 30, 2022

数据结构与算法回顾（三）：时间轮

一种高效的定时器算法实现（简单时间轮）

0x00 前言 时间轮是用来解决海量百万级定时器（或延时）任务的最佳方案，linux 的内核定时器就是采用该数据结构实现。本文介绍 go-zero 框架中时间轮的实现及使用场景。 应用场景 自动删除缓存中过期的 Key：缓存中设置了 TTL 的 kv，通过把该 key 对应的 TTL 以及回调方法注册到 timewheel，到期直接删除 延时任务，将任务注册到 timewh...

Posted by pandaychen on May 28, 2022

FEATURED TAGS
Latex gRPC 负载均衡 OpenSSH Authentication Consul Etcd Kubernetes 性能优化 Python 分布式锁 WebConsole 后台开发 Golang OpenSource Nginx Vault 网络安全 Perl 分布式理论 Raft 正则表达式 Redis 分布式 限流 go-redis 微服务 反向代理 ReverseProxy Cache 缓存 连接池 OpenTracing GOMAXPROCS GoMicro 微服务框架 日志 zap Pool Kratos Hystrix 熔断 并发 Pipeline 证书 Prometheus Metrics PromQL Breaker 定时器 Timer Timeout Kafka Xorm MySQL Fasthttp bytebufferpool 任务队列 队列 异步队列 GOIM Pprof errgroup consistent-hash Zinx 网络框架 设计模式 HTTP Gateway Queue Docker 网关 Statefulset NFS Machinery Teleport Zero Trust Oxy 存储 Confd 热更新 OAuth SAML OpenID Openssl AES 微服务网关 IM KMS 安全 数据结构 hashtable Sort Asynq 基数树 Radix Crontab 热重启 系统编程 sarama Go-Zero RDP VNC 协程池 UDP hashmap 网络编程 自适应技术 环形队列 Ring Buffer Circular Buffer InnoDB timewheel GroupCache Jaeger GOSSIP CAP Bash websocket 事务 GC TLS singleflight 闭包 Helm network iptables MITM HTTPS Tap Tun 路由 wireguard gvisor Git NAT 协议栈 Envoy FRP DPI gopacket Cgroup Namespace DNS eBPF GoZero Gost Clash Tracee gopsutil Linux HIDS ELKEID XDP TC Systemd netlink Kernel BCC rootkit bpftrace
ABOUT ME

✉️ ringbuffer@126.com

FRIENDS