Pprof

Pprof 调试经验汇总

Posted by pandaychen on October 3, 2023

0x00 前言

0x01 DEBUG 汇总

调用图

  1. 安装 yum install graphviz
  2. go tool pprof main http://localhost:8000/debug/pprof/heap 或者 goroutine，进入命令行
  3. 输入 svg 命令即可保存

火焰图

  1. 安装 FlameGraph，如下
  2. 安装 go-torch，拿到 bin 文件
  3. 使用命令 go-torch -u http://localhost:6060 -t 30 生成火焰图
git clone https://github.com/brendangregg/FlameGraph.git
cp FlameGraph/flamegraph.pl /usr/local/bin

0x02 一些经验之谈

关于调用图

一般调用图中高亮的部分就能告诉开发者是哪里发生了内存泄漏了（除非内存是预设的 size，如代码中本地初始化一块缓存）

部署与编译机器分开

比如，需要调试 goroutine，部署机器上通过 curl http://localhost:6060/debug/pprof/goroutine -o goroutine.pprof 保存运行时配置，然后将 goroutine.pprof 传输到编译机器上，通过 go tool pprof goroutine.pprof 即可进行调试

对比前后时间差异

导出时间点 A 的文件：

curl http://localhost:6060/debug/pprof/heap > heap.timeA
curl http://localhost1:6060/debug/pprof/goroutine> goroutine.timeA

导出时间点 B 的文件：

curl http://localhost:6060/debug/pprof/heap > heap.timeB
curl http://localhost1:6060/debug/pprof/goroutine> goroutine.timeB

对比两个时间点的堆栈差异：

go tool pprof --base heap.timeA heap.timeB
go tool pprof --http :8080 --base heap.timeA heap.timeB

runtime.gopark 方法的启示

若查看 goroutine 文件使用 traces 命令，发现大量的 runtime.gopark 函数调用，那么可以初步认定为程序存在 goroutine 泄漏。gopark 函数主要作用就是将当前的 goroutine 放入等待状态，这就意味着 goroutine 被暂时被搁置，也就是被运行时调度器暂停了

  • 调用 acquirem 函数
  • 获取当前 goroutine 所绑定的 m，设置各类所需数据
  • 调用 releasem 函数将当前 goroutine 和其 m 的绑定关系解除
  • 调用 park_m 函数
  • 将当前 goroutine 的状态从 _Grunning 切换为 _Gwaiting ，也就是等待状态
  • 删除 m 和当前 goroutine m->curg（简称 gp）之间的关联
  • 调用 mcall 函数，仅会在需要进行 goroutiine 切换时会被调用
  • 切换当前线程的堆栈，从 g 的堆栈切换到 g0的堆栈并调用 fn(g) 函数
  • 将 g 的当前 PC/SP 保存在 g->sched 中，以便后续调用 goready 函数时可以恢复运行现场

参考

CATALOG
    FEATURED TAGS
    Latex gRPC 负载均衡 OpenSSH Authentication Consul Etcd Kubernetes 性能优化 Python 分布式锁 WebConsole 后台开发 Golang OpenSource Nginx Vault 网络安全 Perl 分布式理论 Raft 正则表达式 Redis 分布式 限流 go-redis 微服务 反向代理 ReverseProxy Cache 缓存 连接池 OpenTracing GOMAXPROCS GoMicro 微服务框架 日志 Pool Kratos Hystrix 熔断 并发 Pipeline 证书 Prometheus Metrics Breaker 定时器 Timer Timeout Kafka Xorm MySQL Fasthttp bytebufferpool 任务队列 队列 异步队列 GOIM Pprof errgroup consistent-hash Zinx 网络框架 设计模式 HTTP Gateway Queue Docker 网关 Statefulset NFS Machinery Teleport Zero Trust Oxy 存储 Confd 热更新 OAuth SAML OpenID Openssl AES 微服务网关 IM KMS 安全 数据结构 hashtable Sort Asynq 基数树 Radix Crontab 热重启 系统编程 sarama Go-Zero RDP VNC 协程池 UDP hashmap 网络编程 自适应技术 环形队列 Ring Buffer Circular Buffer InnoDB timewheel GroupCache Jaeger GOSSIP CAP Bash websocket 事务 GC TLS singleflight 闭包 Helm kubernetes network iptables MITM HTTPS tap tun 路由 wireguard Tun gvisor Git NAT 协议栈 Envoy FRP DPI gopacket DNS GoZero Gost
    FRIENDS