一、cgroup学习
1.什么是Cgroup
Cgroups 是 control groups 的缩写,是 Linux 内核提供的一种可以限制、记录、隔离进程组(process groups)所使用的物理资源(如:cpu,memory,IO 等等)的机制。最初由 google 的工程师提出,后来被整合进 Linux 内核。Cgroups 也是 LXC 为实现虚拟化所使用的资源管理手段,可以说没有 cgroups 就没有 LXC。
2.Cgroup可以做什么
1.限制进程组可以使用的资源数量,限制进程最大使用的内存等。
2.进程组的优先级控制,比如为某个进程组分配特定的cpu share。
3.记录进程组使用的资源数量,比如记录某个进程CPU的使用时间。
4.进程组隔离,比如通过namespace以达到隔离的目的。
5.进程组控制,比如可以将进程组挂起或恢复。
3.Cgroup的模型
(1) 进程模型
在说Cgroup的模型之前,先回顾下进程模型,在linux系统上,所有的进程都有一个共同的父进程,叫做init进程,这个进程在内核启动的时候开始执行,然后通过init进程启动其他的进程,这些进程都是init的子进程。因为所有的进程都有一个共同的父进程。那么linux的进程模型就是一个单继承层次的模型,或者称之为树状模型。除此之外每一个linux进程但是除了init进程,都继承了一些环境变量(例如PATH环境变量)。
(2) Cgroup模型
Cgroup其实和进程类似,Cgroup也是继承体系,并且子Cgroup继承其父Cgroup的某些属性,两者最基本的差别在于,进程是单继承体系。而Cgroup可以存在多个不同的继承体系(就是可以有多个单继承体系,每个单继承体系互不影响)。
4.Cgroup的一些概念
在Cgroup中有这样四个概念,可以说理解了这四个概念,那么对于如何使用Cgroup:
Subsystems: 称之为子系统,一个子系统就是一个资源控制器,比如cpu子系统就是控制cpu时间分配的一个控制器。
Hierarchies: 可以称之为层次体系,也可以称之为继承体系,指的是Control Groups是按照层次体系的关系进行组织的。
Control Groups: 一组按照某种标准划分的进程。进程可以从一个Control Groups迁移到另外一个Control Groups中,同时Control Groups中的进程也会受到这个组的资源限制。
Tasks: 在Cgroups中,Tasks就是系统的一个进程。
5.Subsystems
在Red_Hat_Enterprise_Linux-6系列的linux中,默认提供了如下子系统,功能如下:
blkio: 这个子系统为块设备设定输入/输出限制,比如物理设备(磁盘,固态硬盘,USB 等等) 。
cpu: 这个子系统使用调度程序提供对 CPU 的 cgroup 任务访问。
cpuacct: 这个子系统自动生成 cgroup 中任务所使用的 CPU 报告。
cpuset: 这个子系统为 cgroup 中的任务分配独立 CPU(在多核系统)和内存节点。
devices: 这个子系统可允许或者拒绝 cgroup 中的任务访问设备。
freezer: 这个子系统挂起或者恢复 cgroup 中的任务。
memory: 这个子系统设定 cgroup 中任务使用的内存限制,并自动生成由那些任务使用的内存资源报告。
net_cls:这个子系统使用等级识别符(classid)标记网络数据包,可允许 Linux 流量控制程序(tc)识别从具体 cgroup 中生成的数据包。
ns: 名称空间子系统。
Ubuntu中的目录是/sys/fs/cgroup, 但是高通的Android手机中这个目录下是空的,存在于/dev目录下,cgroup.rc指定了各个子系统的文件的路径。
/dev/cgroup_info # strings cgroup.rc blkio:/dev/blkio cgroup2:/dev/cg2_bpf /dev/cpuctl cpuacct:/acct cpuset:/dev/cpuset //system-background、top-app也在这里面。 freezer:/dev/freezer memory:/dev/memcg schedtune:/dev/stune
也可以# mount | grep cgroup 来查看都挂载在哪里了。
6.Tasks文件不仅可以读,还可以写,你将一个进程的进程号写入到某个cgroup目录下的tasks里面,你就将这个进程加入了相应的cgroup。
7.cgroup文件系统和VFS文件系统类似,cgroups的定义如下
struct file_system_type cgroup_fs_type = { .name = "cgroup", .mount = cgroup_mount, .kill_sb = cgroup_kill_sb, //kill_sb释放超级块。 .fs_flags = FS_USERNS_MOUNT, };
8.Cgroup在kernel中的入口是:subsys_initcall(cgroup_sysfs_init); //msm-4.19\kernel\cgroup\cgroup.c
9.在cgroup文件系统中,对目录下的文件进行操作时,会调用struct kernfs_ops cgroup_kf_ops 结构体中指向的函数。比如:对文件进行读操作时,会调用 cgroup_file_read,在 cgroup_file_read 中,会根据需要调用该文件对应的 cftype 结构体定义的对应读函数。
cgroups通过实现cgroup文件系统来为用户提供管理cgroup的工具,而cgroup文件系统是基于Linux VFS实现的。相应地,cgroups为控制文件定义了相应的数据结构cftype,对其操作由cgroup文件系统定义的通过操作捕获,再调用cftype定义的具体实现。
cgroup中的每一个文件的后台动作都是 使用以空结尾的struct cftype数组来定义对cgroup文件进行操作时的后台动作,如 static struct cftype swap_files[] 通过模块初始化时执行cgroup_add_legacy_cftypes()添加到cgroup系统中,如 cgroup_add_legacy_cftypes(&memory_cgrp_subsys, memsw_cgroup_files)
10.Cgroup是将任意进程进行分组化管理的Linux内核功能。cgroup本身提供将进程进行分组化管理的功能和接口的基础结构。而后的Android操作系统也就凭借着这个技术,为每个应用程序分配不同的cgroup,将每个程序进行隔离,达到了一个应用程序不会影响其他应用程序环境的目的。
11.概念
task:一个进程。
control group:控制族群,按照某种标准划分的进程组。
hierarchy:层级,control group可以形成树形的结构,有父节点,子节点,每个节点都是一个control group,子节点继承父节点的特定属性。
subsystem:子系统。子系统就是资源控制器,每种子系统就是一个资源的分配器,比如cpu子系统是控制cpu时间分配的。
可以使用lssubsys -al来列出系统支持多少种子系统,和使用ls /sys/fs/cgroup/(ubuntu)来显示已经挂载的子系统.
12.# mount | grep cgroup可以看挂载目录,到对应的挂载目录下,创建一个文件夹,就创建了一个control group了。
实验1:
/dev/freezer # mkdir mytest /dev/freezer # ls mytest/ cgroup.clone_children cgroup.procs freezer.parent_freezing freezer.self_freezing freezer.state notify_on_release tasks yourtest /dev/freezer/mytest/ # echo $$ > tasks //当前shell进程就被设置进去了,之后更改属性文件的值可以对其进行设置。
实验2:
/dev/cpuset # mkdir mytest /dev/cpuset/mytest # echo "3" > cpus //使用CPU3 /dev/cpuset/mytest # ps -A | grep system_server 1772 /dev/cpuset/mytest # echo 1772 > tasks
上面操作就将system_server线程绑定到CPU3上了。
实验3:
/dev/memcg # mkdir my_mem_ctl /dev/memcg/my_mem_ctl # ls cgroup.clone_children memory.kmem.failcnt memory.kmem.tcp.limit_in_bytes memory.max_usage_in_bytes memory.move_charge_at_immigrate memory.swappiness cgroup.event_control memory.kmem.limit_in_bytes memory.kmem.tcp.max_usage_in_bytes memory.memsw.failcnt memory.oom_control memory.usage_in_bytes cgroup.procs memory.kmem.max_usage_in_bytes memory.kmem.tcp.usage_in_bytes memory.memsw.limit_in_bytes memory.pressure_level memory.use_hierarchy memory.failcnt memory.kmem.slabinfo memory.kmem.usage_in_bytes memory.memsw.max_usage_in_bytes memory.soft_limit_in_bytes notify_on_release memory.force_empty memory.kmem.tcp.failcnt memory.limit_in_bytes memory.memsw.usage_in_bytes memory.stat tasks /dev/memcg/my_mem_ctl # echo $$ > tasks /dev/memcg/my_mem_ctl # echo 10M > memory.limit_in_bytes /dev/memcg/my_mem_ctl # cat memory.limit_in_bytes 10485760
上面是限制当前shell进程最大使用10M内存。
相关文件解释:
memory.limit_in_bytes 显示当前内存(进程内存+页面内存)的使用量 memory.memsw.usage_in_bytes 显示当前内存(进程内存+页面内存)+交换区的使用量 memory.limit_in_bytes 设置、显示内存(进程内存+页面内存)使用量的限制值 memory.memsw.limit_in_bytes 设置、显示内存(进程内存+页面内存)+交换区使用量的限制值 memory.failcnt 显示当前内存(进程内存+页面内存)达到限制值的次数 memory.memsw.failcnt 显示当前内存(进程内存+页面内存)+交换区达到限制值的次数 memory.max_usage_in_bytes 显示记录的内存(进程内存+页面内存)使用量的最大值 memory.memsw.max_usage_in_bytes 显示记录的内存(进程内存+页面内存)+交换区使用量的最大值 memory.stat 输出统计信息 memory.force_empty 强制释放分配给分组的内存 memory.use_hierarchy 设置、显示层次结构的使用 memory.swappiness 设置、显示针对分组的swappiness(相当于sysctl的vm.swappiness)
二、cgroup使用
1. 需要区分cgroup的公共配置文件和特有配置文件(基于kernel-5.10)
cgroup1_base_files["tasks"].write 回调 group-v1.c cgroup1_tasks_write cgroup1_base_files["cgroup.procs"].write 回调 cgroup1_procs_write __cgroup1_procs_write trace_android_vh_cgroup_set_task //允许在此加HOOK
比如cpuset特有文件使用的文件在 legacy_files[] 中表示,没有"tasks"、"cgroup.procs"文件。也就是说这个HOOK是所有cgroup共用的,目前已经存在的cgroup有freezer、memory、cpuset、cpu、blkiofreezer、memory、cpuset、cpu、blkio ...,也就说每次前后台切换此HOOK会被调用多次!
参考:
Linux Cgroups详解(三): https://www.cnblogs.com/lisperl/archive/2012/04/23/2466151.html?utm_medium=referral
003_Linux的Cgroup<实例详解>: https://www.cnblogs.com/itcomputer/p/4634942.html
TODO:
Linux Cgroups详解(一):https://www.cnblogs.com/lisperl/archive/2012/04/17/2453838.html
Linux Cgroups详解(二):https://www.cnblogs.com/lisperl/archive/2012/04/18/2455027.html
LXC(Linux containers)快速入门:https://www.cnblogs.com/lisperl/archive/2012/04/15/2450183.html
Linux Cgroup 入门教程:cpuset:https://zhuanlan.zhihu.com/p/121588317
本文参考链接:https://www.cnblogs.com/hellokitty2/p/13775811.html