Java并发 -- 线程数量
多线程的目的
- 使用多线程的目的是为了_提高程序性能_
- 度量程序性能的核心指标:_延迟 + 吞吐量_
- 延迟:发出请求到收到响应的时间,延迟越短,意味着程序执行得越快,性能越好
- 吞吐量:在单位时间内能处理请求的数量,吞吐量越大,意味着程序能处理的请求越多,性能越好
- 同等条件下,延迟越短,吞吐量越大,但两者隶属于不同的维度(一个时间维度,一个空间维度),并不能互相转换
- 提升程序性能:_降低延迟,提高吞吐量_
多线程的应用场景
- 要达到降低延迟,提高吞吐量的目的,有两个方向:一个是优化算法,一个是_将硬件的性能发挥到极致_
- 前者属于算法范畴,后者与并发编程息息相关
- 在并发编程领域,_提高性能本质上就是要提高硬件的利用率_,主要是提升IO利用率和CPU利用率
- 操作系统解决硬件利用率问题的对象往往是单一的硬件设备,而并发编程要解决CPU和IO设备综合利用率的问题
综合利用率
假设程序按照CPU计算和IO操作交叉执行的方式运行,而且CPU计算和IO操作的耗时是1:1
单线程
- 单线程时,执行CPU计算的时候,IO设备空闲,执行IO操作时,CPU空闲,所以CPU利用率和IO设备的利用率都是50%
两线程
- 两个线程时,当线程A执行CPU计算时,线程B执行IO操作,当线程A执行IO操作时,线程B执行CPU计算
- 这样CPU利用率和IO设备的利用率都达到了100%,相对于单线程吞吐量提高了1倍
- 逆向思维:如果CPU和IO设备的利用率都很低,可以通过增加线程来提高吞吐量
多核
- 在单核时代,多线程主要用来_平衡CPU和IO设备_
- 如果程序只有CPU计算,那么多线程反而会让性能变差,因为增加了线程切换的成本
- 在多核时代,纯CPU计算的程序可以利用多线程来提升性能,因为利用多核可以_降低响应时间_
- 例如对于4核CPU,可以将一个计算任务拆分成4个独立的子任务,交由4个线程分别在4个核上执行
- 采用单线程时CPU的利用率只有25%,而采用4线程时能将CPU的利用率提高到100%
线程数量
需要依据具体的应用场景来确定线程数量:_CPU密集型_ + IO密集型
CPU密集型
- 对于CPU密集型来说,多线程本质上是要_提升CPU的利用率_
- 为了减少线程切换的成本,理论上设置为CPU核数即可
- 但在工程上,一般会设置成CPU核数+1,这是为了保证CPU的利用率(在某个线程阻塞时,额外的线程能够补上)
IO密集型
单核
最佳线程数 = 1 + (IO耗时 / CPU耗时)
三线程
- 如果CPU计算和IO操作的耗时比是1:2
- 对于线程A,当CPU从线程B、C切换回来时,线程A正好执行完IO操作,这样CPU和IO设备的利用率都达到了100%
多核
最佳线程数 = CPU核数 * [1 + (IO耗时 / CPU耗时)]
关键参数
- 对于IO密集型的应用场景,关键参数是IO耗时/CPU耗时,但这个参数是动态变化的
- 因此,如果要估算这个参数,需要做各个不同场景下的压测
- 在压测的过程中,要重点关注CPU、IO设备的利用率和性能指标(延迟+吞吐量)之间的关系
参考资料
All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.