Java线程池实现原理

前言

很久以前看过JDK线程池实现源码，但最近的面试被问到线程实现原理的时候还说不清楚，甚至和连接池搞混。所以有必要重温一遍并记录下来以便日后翻阅。

线程池类图

类层次结构

Executor接口

Executor接口只有一个接受Runnable参数的execute方法，用来执行任务。

package java.util.concurrent;
public interface Executor {
    /**
     * 接受执行一个任务
     */
    void execute(Runnable command);
}

###ExecutorService接口
ExecutorService接口主要定义线程池内部管理的接口

package java.util.concurrent;
public interface ExecutorService extends Executor {
    /**
     * 不会立即终止线程池，而是要等所有任务缓存队列中的任务都执行完后才终止，但再也不会接受新的任务
     */
    void shutdown();

   /**
     * 立即终止线程池，并尝试打断正在执行的任务，并且清空任务缓存队列
     * @return  待执行任务列表
     */
    List<Runnable> shutdownNow();

    boolean isShutdown();

    boolean isTerminated();

    boolean awaitTermination(long timeout, TimeUnit unit) 
        throws InterruptedException;

    /**
     * 提交任务
     * @return  待完成任务future
     */
    <T> Future<T> submit(Callable<T> task);

    <T> Future<T> submit(Runnable task, T result);

    Future<?> submit(Runnable task);

    <T> List<Future<T>> invokeAll(Collection<? extends Callable<T>> tasks)
        throws InterruptedException;

    <T> List<Future<T>> invokeAll(Collection<? extends Callable<T>> tasks, long timeout, TimeUnit unit) 
        throws InterruptedException;

    <T> T invokeAny(Collection<? extends Callable<T>> tasks)
        throws InterruptedException, ExecutionException;

    <T> T invokeAny(Collection<? extends Callable<T>> tasks,  long timeout, TimeUnit unit) 
        throws InterruptedException, ExecutionException, TimeoutException;
}

AbstractExecutorService抽象类

AbstractExecutorService抽象类实现了大部分方法，但大部分方法都依赖Executor接口声明的execute方法，这里并没有实现该方法，而是把这个方法交由子类（java.util.concurrent.ThreadPoolExecutor）实现。

package java.util.concurrent;
import java.util.*;
public abstract class AbstractExecutorService implements ExecutorService {

    protected <T> RunnableFuture<T> newTaskFor(Runnable runnable, T value) {
        return new FutureTask<T>(runnable, value);
    }

    protected <T> RunnableFuture<T> newTaskFor(Callable<T> callable) {
        return new FutureTask<T>(callable);
    }

    public Future<?> submit(Runnable task) {
        if (task == null) throw new NullPointerException(); // 任务为空，抛出空指针异常
        RunnableFuture<Void> ftask = newTaskFor(task, null);
        execute(ftask);
        return ftask;
    } 

    public <T> Future<T> submit(Runnable task, T result) {
        if (task == null) throw new NullPointerException();// 任务为空，抛出空指针异常
        RunnableFuture<T> ftask = newTaskFor(task, result);
        execute(ftask);
        return ftask;
    }

    public <T> Future<T> submit(Callable<T> task) {
        if (task == null) throw new NullPointerException();// 任务为空，抛出空指针异常
        RunnableFuture<T> ftask = newTaskFor(task);
        execute(ftask);
        return ftask;
    }
  // 其余方法略

}

#线程池原理

线程池的状态

1. RUNNING：正在处理任务和接受队列中的任务。
2. SHUTDOWN：不再接受新的任务，但是会继续处理完队列中的任务。
3. STOP：不再接受新任务，也不继续处理队列中的任务，且会中止正在处理的任务。
4. TIDYING：所有任务都处理结束，目前worker数为0，当线程池进入这个状态的时候，会调用terminated()方法。
5. TERMINATED：线程池已经全部结束，并且terminated()方法执行完成。

// 线程池状态计数器
private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));
private static final int COUNT_BITS = Integer.SIZE - 3;
private static final int CAPACITY   = (1 << COUNT_BITS) - 1; // 线程池最大线程数不能超过(2^29)-1个线程，大约是500万个线程

// runState is stored in the high-order bits
// 运行状态
private static final int RUNNING    = -1 << COUNT_BITS;
// 关闭状态
private static final int SHUTDOWN   =  0 << COUNT_BITS;
// 停止状态
private static final int STOP       =  1 << COUNT_BITS;
// 整理状态
private static final int TIDYING    =  2 << COUNT_BITS;
// 终结状态
private static final int TERMINATED =  3 << COUNT_BITS;
 // 计算线程池当前状态
private static int runStateOf(int c)     { return c & ~CAPACITY; }
// 计算当前状态是否小于某个状态
private static boolean runStateLessThan(int c, int s) {
    return c < s;
}
// 计算当前状态是否大于或等于某个状态
private static boolean runStateAtLeast(int c, int s) {
    return c >= s;
}
// 计算当前状态是否RUNNING
private static boolean isRunning(int c) {
    return c < SHUTDOWN;
}

##线程任务执行

线程任务执行涉及属性

private final BlockingQueue<Runnable> workQueue;//任务队列
private final ReentrantLock mainLock = new ReentrantLock();//线程主锁
private final HashSet<Worker> workers = new HashSet<Worker>();
private final Condition termination = mainLock.newCondition();
private int largestPoolSize;
private long completedTaskCount;
private volatile ThreadFactory threadFactory;
private volatile RejectedExecutionHandler handler;//任务拒绝策略处理器
private volatile long keepAliveTime;//临时线程等待超时时间
private volatile boolean allowCoreThreadTimeOut;
private volatile int corePoolSize;//核心线程数
private volatile int maximumPoolSize; //最大线程数

• workQueue
  任务队列。用来存放任务，在任务量比较大，核心线程在执行任务的时候，会把新提交的任务放到任务队列中，如果任务队列再满了的话，会尝试创建临时线程来处理任务，如果临时线程全部满了的话，就会启动拒绝策略。
• mainLock
  线程池主锁。对线程池本身的一些状态操作的时候，必须使用这个锁。
• handler
  拒绝策略处理器。这拒绝策略处理器可以由调用着传入。已实现的拒绝策略有java.util.concurrent.ThreadPoolExecutor.AbortPolicy、java.util.concurrent.ThreadPoolExecutor.DiscardPolicy、java.util.concurrent.ThreadPoolExecutor.CallerRunsPolicy和java.util.concurrent.ThreadPoolExecutor.DiscardOldestPolicy
• keepAliveTime
  临时线程等待超时时间。这个属性表示创建的临时线程在空闲的时候最长的等待时间，如果超过这个时间，线程就会结束掉。
• corePoolSize
  核心线程数。表示的是整个线程池中最少存活的线程数。实际上，在任务数比较多的情况下，线程池会创建一些新的临时线程来执行任务，等到任务数降下来之后，临时线程就会逐渐减少，总的线程数会回落到核心线程数。值得注意的是，当线程池任务队列中没有任务的时候，所有线程都会处于等待状态，但是临时线程等待会超时后就会结束，而核心线程是不允许等待超时的，因此核心线程不会减少，这也保证了线程池的线程数量不会少于核心线程数。

执行execute

public void execute(Runnable command) {
    if (command == null)
        throw new NullPointerException();
    int c = ctl.get(); // 当前线程总数
    if (workerCountOf(c) < corePoolSize) {
        if (addWorker(command, true)) // 低于核心线程数，创建核心线程来执行任务
            return;
        c = ctl.get();
    }
    // 线程池运行中，尝试加入队列
    if (isRunning(c) && workQueue.offer(command)) {
        // 重新检查线程池状态
        int recheck = ctl.get();
        // 如果线程池已经不接收新的任务，则移除这个任务，并转入拒绝策略。
        if (! isRunning(recheck) && remove(command))
            reject(command);
        // 状态没变，重新检查当前核心线程数，为0则调用addWorker(null, false)去队列中取任务并执行；不为0不做任何操作，等待线程执行完当前任务后自动去队列中获取新的任务并执行。
        else if (workerCountOf(recheck) == 0)
            addWorker(null, false);
    }
    // running但队列已满，则进入拒绝策略
    else if (!addWorker(command, false))
        reject(command);
}

addWorker方法

/**
   * 尝试增加工作线程
   * @param firstTask 新建线程后执行的第一个任务
   * @param core 是否创建核心线程
   */
  private boolean addWorker(Runnable firstTask, boolean core) {
      retry:
      for (;;) {
          // 检查线程池状态
          int c = ctl.get();
          int rs = runStateOf(c);

          // Check if queue empty only if necessary.
          if (rs >= SHUTDOWN &&
              ! (rs == SHUTDOWN &&
                 firstTask == null &&
                 ! workQueue.isEmpty()))
              return false;

          for (;;) {
              int wc = workerCountOf(c);
              // 非核心线程数超过最大限制或核心线程数超过最大限制
              if (wc >= CAPACITY ||
                  wc >= (core ? corePoolSize : maximumPoolSize))
                  return false;
              // 线程计数器加1退出循环
              if (compareAndIncrementWorkerCount(c))
                  break retry;
              c = ctl.get();  // 重新读取线程池状态
              if (runStateOf(c) != rs)
                  continue retry;
              // else CAS failed due to workerCount change; retry inner loop
          }
      }

      boolean workerStarted = false;
      boolean workerAdded = false;
      Worker w = null;
      try {
          w = new Worker(firstTask);
          final Thread t = w.thread;
          if (t != null) {
              final ReentrantLock mainLock = this.mainLock;
              mainLock.lock();
              try {
                  // Recheck while holding lock.
                  // Back out on ThreadFactory failure or if
                  // shut down before lock acquired.
                  int rs = runStateOf(ctl.get());

                  if (rs < SHUTDOWN ||
                      (rs == SHUTDOWN && firstTask == null)) {
                      if (t.isAlive()) // precheck that t is startable
                          throw new IllegalThreadStateException();
                      workers.add(w);
                      int s = workers.size();
                      if (s > largestPoolSize)
                          largestPoolSize = s;
                      workerAdded = true;
                  }
              } finally {
                  mainLock.unlock();
              }
              if (workerAdded) {
                  t.start();
                  workerStarted = true;
              }
          }
      } finally {
          // 线程没运行则回滚
          if (! workerStarted)
              addWorkerFailed(w);
      }
      return workerStarted;
  }

Worker类

每一个Worker类对象代表一个线程

private final class Worker  extends AbstractQueuedSynchronizer implements Runnable   {
        private static final long serialVersionUID = 6138294804551838833L;
        final Thread thread;
        /** 线程创建后执行的第一个任务。允许为空 */
        Runnable firstTask;
        /** 完成任务计数器 */
        volatile long completedTasks;
        Worker(Runnable firstTask) {
            setState(-1); // inhibit interrupts until runWorker
            this.firstTask = firstTask;
            this.thread = getThreadFactory().newThread(this);
        }
        public void run() {
            runWorker(this);
        }

        protected boolean isHeldExclusively() {
            return getState() != 0;
        }

        protected boolean tryAcquire(int unused) {
            if (compareAndSetState(0, 1)) {
                setExclusiveOwnerThread(Thread.currentThread());
                return true;
            }
            return false;
        }

        protected boolean tryRelease(int unused) {
            setExclusiveOwnerThread(null);
            setState(0);
            return true;
        }

        public void lock()        { acquire(1); }
        public boolean tryLock()  { return tryAcquire(1); }
        public void unlock()      { release(1); }
        public boolean isLocked() { return isHeldExclusively(); }

        void interruptIfStarted() {
            Thread t;
            if (getState() >= 0 && (t = thread) != null && !t.isInterrupted()) {
                try {
                    t.interrupt();
                } catch (SecurityException ignore) {
                }
            }
        }
    }

###runWorker方法

final void runWorker(Worker w) {
        Thread wt = Thread.currentThread();
        Runnable task = w.firstTask;
        w.firstTask = null;
        w.unlock(); // allow interrupts
        boolean completedAbruptly = true;
        try {
            // 获取待执行的任务
            while (task != null || (task = getTask()) != null) {
                // 获取当前线程锁
                w.lock();
                // 检查当前线程状态是否允许运行
                if ((runStateAtLeast(ctl.get(), STOP) ||
                     (Thread.interrupted() &&
                      runStateAtLeast(ctl.get(), STOP))) &&
                    !wt.isInterrupted())
                    wt.interrupt();
                try {
                    // 执行前处理。默认不处理，留给扩展实现
                    beforeExecute(wt, task);
                    Throwable thrown = null;
                    try {
                        task.run();
                    } catch (RuntimeException x) {
                        thrown = x; throw x;
                    } catch (Error x) {
                        thrown = x; throw x;
                    } catch (Throwable x) {
                        thrown = x; throw new Error(x);
                    } finally {
                        // 执行后处理。默认不处理，留给扩展实现
                        afterExecute(task, thrown);
                    }
                } finally {
                    task = null;
                    // 计数器++
                    w.completedTasks++;
                    // 释放锁
                    w.unlock();
                }
            }
            completedAbruptly = false;
        } finally {
            processWorkerExit(w, completedAbruptly);
        }
    }

getTask方法

/**
 * 取新的任务执行，如果没有新的任务，线程就会阻塞在getTask()方法内
 */
private Runnable getTask() {
        boolean timedOut = false; // Did the last poll() time out?

        for (;;) {
            int c = ctl.get();
            int rs = runStateOf(c);

            // Check if queue empty only if necessary.
            if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
                decrementWorkerCount();
                return null;
            }
            int wc = workerCountOf(c);
            // Are workers subject to culling?
            boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;
            if ((wc > maximumPoolSize || (timed && timedOut))
                && (wc > 1 || workQueue.isEmpty())) {
                if (compareAndDecrementWorkerCount(c))
                    return null;
                continue;
            }

            try {
                Runnable r = timed ?
                    workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
                    workQueue.take();
                if (r != null)
                    return r;
                timedOut = true;
            } catch (InterruptedException retry) {
                timedOut = false;
            }
        }
    }

processWorkerExit方法

private void processWorkerExit(Worker w, boolean completedAbruptly) {
        if (completedAbruptly) // If abrupt, then workerCount wasn't adjusted
            decrementWorkerCount();//减少工作线程数

        final ReentrantLock mainLock = this.mainLock;
        mainLock.lock();
        try {
            completedTaskCount += w.completedTasks;
            workers.remove(w);
        } finally {
            mainLock.unlock();
        }

        tryTerminate();

        int c = ctl.get();
        if (runStateLessThan(c, STOP)) {
            if (!completedAbruptly) {
                int min = allowCoreThreadTimeOut ? 0 : corePoolSize;
                if (min == 0 && ! workQueue.isEmpty())
                    min = 1;
                if (workerCountOf(c) >= min)
                    return; // replacement not needed
            }
            addWorker(null, false);
        }
    }

总结

1. 线程池（Thread Pool）是限制程序同一时刻运行线程数量的一种实现。线程池最多不会超过maximumPoolSize个线程在运行
2. 提交给线程池的任务也是一个线程，有线程池工作线程负责调度执行。当线程池的活跃线程未超过corePoolSize个时，线程池创建核心线程调度执行任务；当线程的活跃线程数超过corePoolSize，且小于maximumPoolSize，线程池创建临时线程调度执行；当线程池活跃线程等于maximumPoolSize时，提交任务到任务队列；任务队列已满，则转入拒绝策略
3. 线程池中每个活跃线程在调度执行完一个任务后，会从任务队列阻塞获取新的任务调度执行。非核心工作线程阻塞到超时，核心工作线程默认阻塞到队列有任务
4. 临时工作线程（非核心）从任务队列获取新任务超时后进入回收逻辑