一、互联网上的说法
目前根据一些开源框架,设置多少个线程数量通常是根据应用的类型 :I/O 密集型、CPU 密集型
I/O密集型
I/O密集型的场景在开发中比较常见,比如像 MySQL数据库读写、文件的读写、网络通信等任务,这类任务不会 特别消耗CPU资源,但是IO操作比较耗时,会占用比较多时间;
IO密集型通常设置为 2n+1,其中 n 为 CPU 核数;
说白了,对于i/o密集型的场景,不太占用cpu资源,所以并发的任务数大于cpu的核数,这样的话能更加充分的利用CPU资源;
CPU密集型
CPU密集型的场景,比如像加解密,压缩、计算等一系列需要大量耗费 CPU 资源的任务,这些场景大部分都是纯 CPU计算;
CPU密集型通常设置为n+1,这样也可避免多线程环境下CPU资源挣钱带来上下文频繁切换的开销;
详细内容可参考:ThreadPoolExecutor线程池参数及其设置规则-阿里云开发者社区
二、线程数和CPU利用率的小测试(纯cpu)
基本的理论:一个CPU核心,单位时间内只能执行一个线程的指令
那么理论上,我一个线程只需要不停的执行指令,就可以跑满一个核心的利用率。
2.1 一个线程数
来写个死循环空跑的例子验证一下:
@RequestMapping("testWhileFor1")
public void testWhile() {
while (true) {
}
}
运行这个例子后,来看看现在CPU的利用率:
在Linux中,可以使用 top 或 htop 命令来展示每个CPU核心的使用情况。默认情况下,top 命令不会显示每个CPU核心的详细使用情况。要显示每个CPU核心的占用率,您需要在 top 命令运行时按下 1 键
从图上可以看到,我的1号cpu核心利用率已经被跑满了
那基于上面的理论,我多开几个线程试试呢?
2.2 两个线程数
@RequestMapping("testWhileFor2")
public void testWhile2() {
for (int i = 0; i < 2; i++) {
new Thread(() -> {
while (true) {
}
}).start();
}
}
从图上可以看到,我的0号和3号cpu核心利用率已经被跑的比较满了
2.3 四个线程数
@RequestMapping("testWhileFor4")
public void testWhile4() {
for (int i = 0; i < 4; i++) {
new Thread(() -> {
while (true) {
}
}).start();
}
}
从图上可以看到,基本上cpu核心利用率都已经被跑的比较满了
2.4 总结
现代CPU基本都是多核心的,比如我这里测试用的阿里云Cenos7,4核心8线程(超线程),我们可以简单的认为这个CPU就可以同时做8件事,互不打扰。
如果要执行的线程大于核心数,那么就需要通过操作系统的调度了。操作系统给每个线程分配CPU时间片资源,然后不停的切换,从而实现“并行”执行的效果。
但是这样真的更快吗?从上面的例子可以看出,一个线程就可以把一个核心的利用率跑满。如果每个线程都很“霸道”,不停的执行指令,不给CPU空闲的时间,并且同时执行的线程数大于CPU的核心数,就会导致操作系统更频繁的执行切换线程执行,以确保每个线程都可以得到执行。
不过切换是有代价的,每次切换会伴随着寄存器数据更新,内存页表更新等操作。虽然一次切换的代价和I/O操作比起来微不足道,但如果线程过多,线程切换的过于频繁,甚至在单位时间内切换的耗时已经大于程序执行的时间,就会导致CPU资源过多的浪费在上下文切换上,而不是在执行程序,得不偿失。
大多程序在运行时都会有一些 I/O操作,可能是读写文件,网络收发报文等,这些 I/O 操作在进行时时需要等待反馈的。比如网络读写时,需要等待报文发送或者接收到,在这个等待过程中,线程是等待状态,CPU没有工作。此时操作系统就会调度CPU去执行其他线程的指令,这样就完美利用了CPU这段空闲期,提高了CPU的利用率。
上面的例子中,程序不停的循环什么都不做,CPU要不停的执行指令,几乎没有啥空闲的时间。如果插入一段I/O操作呢,I/O 操作期间 CPU是空闲状态,CPU的利用率会怎么样呢?
三、线程数和CPU利用率的小测试(cpu+模拟IO)
3.1 一个线程数
@RequestMapping("testWhileIoFor1")
public void testWhileIo() throws InterruptedException {
while (true) {
//每次空循环 1亿 次后,sleep 50ms,模拟 I/O等待、切换
for (int i = 0; i < 100000000; i++) {
System.out.println(i);
}
Thread.sleep(50); // 模拟IO操作
}
}
3.2 四个线程数
@RequestMapping("testWhileIoFor4")
public void testWhileIo4() {
for (int i = 0; i < 4; i++) {
new Thread(() -> {
while (true) {
//每次空循环 1亿 次后,sleep 50ms,模拟 I/O等待、切换
for (int j = 0; j < 100000000; j++) {
System.out.println(j);
}
try {
Thread.sleep(50); // 模拟IO操作
} catch (InterruptedException e) {
throw new RuntimeException(e);
}
}
}).start();
}
}
3.3 线程数和CPU利用率的小总结
上面的例子,只是辅助,为了更好的理解线程数/程序行为/CPU状态的关系,来简单总结一下:
一个极端的线程(不停执行“计算”型操作时),就可以把单个核心的利用率跑满,多核心CPU最多只能同时执行等于核心数的“极端”线程数如果每个线程都这么“极端”,且同时执行的线程数超过核心数,会导致不必要的切换,造成负载过高,只会让执行更慢I/O 等暂停类操作时,CPU处于空闲状态,操作系统调度CPU执行其他线程,可以提高CPU利用率,同时执行更多的线程I/O 事件的频率频率越高,或者等待/暂停时间越长,CPU的空闲时间也就更长,利用率越低,操作系统可以调度CPU执行更多的线程
四、线程数规划的公式
4.1 引用《Java 并发编程实战》
前面的铺垫,都是为了帮助理解,现在来看看书本上的定义。《Java 并发编程实战》介绍了一个线程数计算的公式,github地址:GitCode - 全球开发者的开源社区,开源代码托管平台
电子书PDF版地址:GitCode - 全球开发者的开源社区,开源代码托管平台
4.2 公式解释
参数解析:
Ncpu
含义:CPU的物理核心数量(非逻辑线程数)
示例:4核CPU → Ncpu=4Ncpu=4
Ucpu
含义:目标CPU利用率(0到1之间的小数)
示例:希望CPU利用率为80% → Ucpu=0.8
w/c
含义:任务等待时间(W)与任务计算时间(C)的比率
W:线程等待I/O、网络、锁等非CPU操作的时间
C:线程纯粹执行计算的时间
此处可以理解为IO操作和cpu处理的比例,如总耗时500ms,其中IO操作400ms,cpu处理100ms,那么w/c = 4
4.3 计算示例
4核CPU(Ncpu=4)
目标利用率80%(Ucpu=0.8)
任务特性:W/C=4(其中IO耗时400ms,cup处理100ms)
Nthreads=4×0.8×(1+4)=4×0.8×5=16个线程