尽管当前已经是多核心SMP时代,但作为”多用户,多任务“操作系统,Linux还是通过分时复用的方式,即给一个个任务分配不同的时间片从而实现用户感知上的多任务。而各种中断则拥有最高的响应权限,可以直接导致线程的切换。
问题来了。记得我之前曾经在某篇帖子上说过:低时延和大吞吐量有的时候是一对矛盾。解决低时延,系统需要多个不断切换的线程接收用户端的数据——想象一下加特林机枪的射速是通过多枪管轮流发射达到低时延的目的;而大吞吐量往往需要一个不受干扰的持续运行状态——就如一条生产线,每一次更换产品都会带来一系列的时间损失。
传统上非实时抢占内核Linux采用了一个相对固定的时间周期为不同的进程、线程切换CPU时间。在运行的过程中,如果kernel需要获得控制权——主要是完成一些CPU重新调度以及定时器触发之类的任务,则需要通过timer tick方式以一个固定的周期触发。这个过程其实对于该CPU上正在运行的任务来说是非常不友好的。考虑到在大多数的机器上任务的数量远远多于CPU核心的数量,一次强行的中断将直接导致出现流水线清空的问题。可见这个时间的设定对整个系统的时延/吞吐量非常关键。在不断的均衡 latency和throughput的几次修改之后,社区总算决定修改这一部分的设定。
然后就有了tickless idle(dyntick)模式,Ubuntu desktop版本默认就是选择了这个模式。个人觉得这个模式完全是为了笔记本电脑这类的能耗敏感设备设计的。CPU在启用了能耗管理功能之后会对空闲的CPU降频节能,而这个过程并不一定能在1ms内结束。如果这个空闲的CPU在此时接受了每1ms就会发送的time ticket之后,立马又被唤醒,往复这个过程之后,系统无法进入节能模式。一句话解释tickless idle模式:不向没有任务的CPU发送定时器中断。
另外一个就是tickless模式,这个才是重点,Centos 操作系统默认就是启用了这个模式。这是一个完全针对吞吐量优化的模式。同样一句话的解释:在多CPU系统上,如果当前的CPU没有任务或者只有一个任务的前提下,系统将不向该CPU发送timer tick。
从timer ticker的发送策略上讲,如果要完全体现tickless的优势,CPU必须满足如下严苛条件:在当前的Linux内核配置中general setup -> timer subsystem配置中可以实现对上述3个模式进行切换,编译安装内核之后生效。
该CPU上只有一个任务。
这个唯一的任务不需要系统调用,即始终保持在用户态。
长时间不间断地任务,并保持内核不会再这个过程中重新调度此CPU。
满足这个配置的简单方式就不得不提到一个内核启动入参:isolcpus=。这个入参的效果是隔离部分CPU不参与内核调度。跟其他的Linux启动入参方式一样,需要修改grub.cfg。这里就捎带说说Centos下如何“优雅地”修改grub.cfg。
在Centos下,grub.cfg建议还是通过配置文件+生成器的方式修改。
首先vi /etc/default/grub,找到一行
GRUB_CMDLINE_LINUX=”crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet
我们这里要设置cpu3,cpu4不接受Linux内核调度,即isolcpus=3,4这样行修改为:
我们这里要设置cpu3,cpu4不接受Linux内核调度,即isolcpus=3,4这样行修改为:
GRUB_CMDLINE_LINUX=”crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet isolcpu=3,4
保存好之后试试grub2-mkconfig | grep isolcpu 命令,看看是否有对应的输出。需要注意的是,这个grub2-mkconfig命令仅仅只是根据当前的grub配置命令生成一个grub.cnf并直接写屏而已,并不会真正修改你的grub.cnf。如果需要让配置生效的话,还需要有额外的一步:grub2-mkconfig > /boot/efi/EFI/contos/grub.cnf
这里还有一个额外的tips:其实网上有不少教程中提到grub.cnf文件的位置是在/boot下,这属于早些年MBR/GPT启动盘时代的配置方式。对于现在逐渐成为主流的EFI启动模式,配置文件已经移到/boot/efi/EFI/***目录下,对于其他非Centos的Linux操作系统也可以参考这个路径找到自己对应的grub.cnf配置文件。
重启主机使Linux生效,使用cat /proc/cmdline命令可以查看当前的linux启动参数。
启用了isolcpus功能之后,Linux 调度器将不会主动将任何任务调度到对应的CPU上。用户必须通过taskset/cgroup的方式实现用户调度。而且如果涉及多任务,同样需要用户调度。
文章的脚注信息由WordPress的wp-posturl插件自动生成