用DTrace和SystemTap检测CPython¶
- 作者
戴维马尔科姆
- 作者
卢卡斯
DTrace和SystemTap是监控工具，每种工具都提供了一种方法来检查计算机系统上的进程正在做什么。它们都使用特定于域的语言，允许用户编写脚本：
过滤要观察的过程
从感兴趣的过程中收集数据
生成数据报告
从python 3.6开始，cpython可以用嵌入的“标记”（也称为“探针”）构建，通过dtrace或systemtap脚本可以观察到这些标记，从而更容易监视系统上的cpython进程正在做什么。
CPython implementation detail: dtrace标记是cpython解释器的实现细节。没有保证cpython版本之间的探针兼容性。在更改cpython版本时，dtrace脚本可以停止工作或不正确地工作而不发出警告。
启用静态标记¶
MacOS内置了对dtrace的支持。在Linux上，为了使用SystemTap的嵌入式标记构建CPython，必须安装SystemTap开发工具。
在Linux机器上，可以通过以下方式完成：
$ yum install systemtap-sdt-devel
或：
$ sudo apt-get install systemtap-sdt-dev
然后必须配置cpython --with-dtrace ：
checking for --with-dtrace... yes
在MacOS上，您可以通过在后台运行python进程并列出python提供程序提供的所有探测来列出可用的dtrace探测：
$ python3.6 -q &
$ sudo dtrace -l -P python$! # or: dtrace -l -m python3.6
ID PROVIDER MODULE FUNCTION NAME
29564 python18035 python3.6 _PyEval_EvalFrameDefault function-entry
29565 python18035 python3.6 dtrace_function_entry function-entry
29566 python18035 python3.6 _PyEval_EvalFrameDefault function-return
29567 python18035 python3.6 dtrace_function_return function-return
29568 python18035 python3.6 collect gc-done
29569 python18035 python3.6 collect gc-start
29570 python18035 python3.6 _PyEval_EvalFrameDefault line
29571 python18035 python3.6 maybe_dtrace_line line
在Linux上，您可以通过查看生成的二进制文件中是否包含“.note.stapsdt”部分来验证SystemTap静态标记是否存在。
$ readelf -S ./python | grep .note.stapsdt
[30] .note.stapsdt NOTE 0000000000000000 00308d78
如果您已经将Python构建为共享库（使用--enablesharred），那么您需要在共享库中进行查找。例如：：
$ readelf -S libpython3.3dm.so.1.0 | grep .note.stapsdt
[29] .note.stapsdt NOTE 0000000000000000 00365b68
足够现代的readelf可以打印元数据：
$ readelf -n ./python
Displaying notes found at file offset 0x00000254 with length 0x00000020:
Owner Data size Description
GNU 0x00000010 NT_GNU_ABI_TAG (ABI version tag)
OS: Linux, ABI: 2.6.32
Displaying notes found at file offset 0x00000274 with length 0x00000024:
Owner Data size Description
GNU 0x00000014 NT_GNU_BUILD_ID (unique build ID bitstring)
Build ID: df924a2b08a7e89f6e11251d4602022977af2670
Displaying notes found at file offset 0x002d6c30 with length 0x00000144:
Owner Data size Description
stapsdt 0x00000031 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: gc__start
Location: 0x00000000004371c3, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf6
Arguments: -4@%ebx
stapsdt 0x00000030 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: gc__done
Location: 0x00000000004374e1, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf8
Arguments: -8@%rax
stapsdt 0x00000045 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: function__entry
Location: 0x000000000053db6c, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6be8
Arguments: 8@%rbp 8@%r12 -4@%eax
stapsdt 0x00000046 NT_STAPSDT (SystemTap probe descriptors)
Provider: python
Name: function__return
Location: 0x000000000053dba8, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bea
Arguments: 8@%rbp 8@%r12 -4@%eax
上面的元数据包含SystemTap的信息，描述它如何修补战略性放置的机器代码指令，以启用SystemTap脚本使用的跟踪挂钩。
静态dtrace探针¶
下面的示例dtrace脚本可用于显示Python脚本的调用/返回层次结构，只跟踪名为“start”的函数的调用。换句话说，不会列出导入时间函数调用：
self int indent;
python$target:::function-entry
/copyinstr(arg1) == "start"/
{
self->trace = 1;
}
python$target:::function-entry
/self->trace/
{
printf("%d\t%*s:", timestamp, 15, probename);
printf("%*s", self->indent, "");
printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
self->indent++;
}
python$target:::function-return
/self->trace/
{
self->indent--;
printf("%d\t%*s:", timestamp, 15, probename);
printf("%*s", self->indent, "");
printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
}
python$target:::function-return
/copyinstr(arg1) == "start"/
{
self->trace = 0;
}
可以这样调用：
$ sudo dtrace -q -s call_stack.d -c "python3.6 script.py"
输出如下：
156641360502280 function-entry:call_stack.py:start:23
156641360518804 function-entry: call_stack.py:function_1:1
156641360532797 function-entry: call_stack.py:function_3:9
156641360546807 function-return: call_stack.py:function_3:10
156641360563367 function-return: call_stack.py:function_1:2
156641360578365 function-entry: call_stack.py:function_2:5
156641360591757 function-entry: call_stack.py:function_1:1
156641360605556 function-entry: call_stack.py:function_3:9
156641360617482 function-return: call_stack.py:function_3:10
156641360629814 function-return: call_stack.py:function_1:2
156641360642285 function-return: call_stack.py:function_2:6
156641360656770 function-entry: call_stack.py:function_3:9
156641360669707 function-return: call_stack.py:function_3:10
156641360687853 function-entry: call_stack.py:function_4:13
156641360700719 function-return: call_stack.py:function_4:14
156641360719640 function-entry: call_stack.py:function_5:18
156641360732567 function-return: call_stack.py:function_5:21
156641360747370 function-return:call_stack.py:start:28
静态SystemTap标记¶
使用SystemTap集成的低级方法是直接使用静态标记。这要求您显式地声明包含它们的二进制文件。
例如，此systemtap脚本可用于显示Python脚本的调用/返回层次结构：
probe process("python").mark("function__entry") {
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
printf("%s => %s in %s:%d\\n",
thread_indent(1), funcname, filename, lineno);
}
probe process("python").mark("function__return") {
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
printf("%s <= %s in %s:%d\\n",
thread_indent(-1), funcname, filename, lineno);
}
可以这样调用：
$ stap \
show-call-hierarchy.stp \
-c "./python test.py"
输出如下：
11408 python(8274): => __contains__ in Lib/_abcoll.py:362
11414 python(8274): => __getitem__ in Lib/os.py:425
11418 python(8274): => encode in Lib/os.py:490
11424 python(8274): <= encode in Lib/os.py:493
11428 python(8274): <= __getitem__ in Lib/os.py:426
11433 python(8274): <= __contains__ in Lib/_abcoll.py:366
其中列为：
脚本启动后的时间（以微秒计）
可执行文件的名称
过程PID
其余部分指示脚本执行时的调用/返回层次结构。
对于一个 --enable-shared 构建cpython时，标记包含在libpython共享库中，探测器的虚线路径需要反映这一点。例如，上面例子中的这一行：
probe process("python").mark("function__entry") {
应改为：
probe process("python").library("libpython3.6dm.so.1.0").mark("function__entry") {
（假设CPython 3.6的调试版本）
可用静态标记¶
- function__entry(str filename, str funcname, int lineno)
此标记表示已开始执行python函数。它只对纯Python（字节码）函数触发。
文件名、函数名和行号作为位置参数提供给跟踪脚本，必须使用
$arg1，$arg2，$arg3：$arg1:(const char *)filename, accessible usinguser_string($arg1)$arg2:(const char *)function name, accessible usinguser_string($arg2)$arg3：int行号
- function__return(str filename, str funcname, int lineno)
这个标记与
function__entry()，并指示python函数的执行已结束（通过return或通过例外）。它只对纯Python（字节码）函数触发。参数与for相同
function__entry()
- line(str filename, str funcname, int lineno)
这个标记表示一个python行即将被执行。它相当于使用Python分析器进行逐行跟踪。它不会在C功能中触发。
参数与for相同
function__entry().
- gc__start(int generation)
在Python解释器启动垃圾收集循环时激发。
arg0是要扫描的一代，就像gc.collect().
- gc__done(long collected)
在Python解释器完成垃圾收集循环时激发。
arg0是收集的对象数。
- import__find__load__start(str modulename)
激发之前
importlib尝试查找和加载模块。arg0是模块名。3.7 新版功能.
- import__find__load__done(str modulename, int found)
激发后
importlib调用的find和load函数。arg0是模块名，arg1指示模块是否成功加载。3.7 新版功能.
- audit(str event, void *tuple)
在以下情况下激发
sys.audit()或PySys_Audit()被称为。arg0事件名是C字符串，arg1是一个PyObject指向元组对象的指针。3.8 新版功能.
系统tap tapset¶
使用SystemTap集成的高级方法是使用“Tapset”：SystemTap相当于一个库，它隐藏了静态标记的一些低级细节。
以下是基于非共享cpython构建的tapset文件：
/*
Provide a higher-level wrapping around the function__entry and
function__return markers:
\*/
probe python.function.entry = process("python").mark("function__entry")
{
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
frameptr = $arg4
}
probe python.function.return = process("python").mark("function__return")
{
filename = user_string($arg1);
funcname = user_string($arg2);
lineno = $arg3;
frameptr = $arg4
}
如果此文件安装在SystemTap的Tapset目录中（例如 /usr/share/systemtap/tapset ，然后这些额外的probepoints变得可用：
- python.function.entry(str filename, str funcname, int lineno, frameptr)
此探测点表示已经开始执行python函数。它只对纯Python（字节码）函数触发。
- python.function.return(str filename, str funcname, int lineno, frameptr)
这个探测点与
python.function.return，并指示python函数的执行已结束（通过return或通过例外）。它只对纯Python（字节码）函数触发。
实例¶
此systemtap脚本使用上面的tapset更清晰地实现上面给出的跟踪python函数调用层次结构的示例，而无需直接命名静态标记：
probe python.function.entry
{
printf("%s => %s in %s:%d\n",
thread_indent(1), funcname, filename, lineno);
}
probe python.function.return
{
printf("%s <= %s in %s:%d\n",
thread_indent(-1), funcname, filename, lineno);
}
下面的脚本使用上面的tapset提供所有正在运行的cpython代码的顶部视图，显示整个系统中每秒前20个最频繁输入的字节码帧：
global fn_calls;
probe python.function.entry
{
fn_calls[pid(), filename, funcname, lineno] += 1;
}
probe timer.ms(1000) {
printf("\033[2J\033[1;1H") /* clear screen \*/
printf("%6s %80s %6s %30s %6s\n",
"PID", "FILENAME", "LINE", "FUNCTION", "CALLS")
foreach ([pid, filename, funcname, lineno] in fn_calls- limit 20) {
printf("%6d %80s %6d %30s %6d\n",
pid, filename, lineno, funcname,
fn_calls[pid, filename, funcname, lineno]);
}
delete fn_calls;
}