java.lang.OutOfMemoryError: unable to create new native thread

1.系统以及线上现象介绍：
   以前运行正常，对比以前，任务数量具增，但数据并没有以前多;
   线上问题：系统已经不正常，并且导致虚拟机节点重启不了，并且根据运维的反馈服务器上命令执行不了
2.日志查找分析：
  a.日志错误源查找如下：

引用

Java HotSpot(TM) 64-Bit Server VM warning: Attempt to allocate stack guard pages failed.
Exception in thread "Thread-7050" java.lang.OutOfMemoryError: unable to create new native thread
at java.lang.Thread.start0(Native Method)
at java.lang.Thread.start(Thread.java:640)

  b.根据错误以及代码熟悉定位猜测:
    分析任务增加--创建的线程池增加没有释放---线程数太多--创建不了线程
    代码中有线程池每次new的创建，但没有shutdown
  c.验证测试
 

引用

import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

/**
* User: tofhao
* Date: 2015/8/5
* Time: 17:47
*/
public class ThreadTest {
    /**
     * 启动线程池，运行任务。
     */
    public static void poolExecute(){
        int size =10;
        ExecutorService executor = Executors.newFixedThreadPool(size);
        for (int i = 0;i < size; i ++){

            executor.execute(new Runnable() {

                @Override

                public void run(){

                }

            });

        }
        //executor.shutdown();
    }


    public static void main(String[] args){
        poolExecute();
        try {
            // 主线程挂起
            CountDownLatch latch = new CountDownLatch(1);
            latch.await();
        } catch(InterruptedException e) {
        }
    }
}

4.利用jdk提供的jconsole连接上去查看验证
    有无//executor.shutdown();连接池的线程数是否被释放
    确认问题是无释放
还有一种方法可以通过调用ThreadPoolExecutor. allowCoreThreadTimeOut(true)允许超时自动关闭
5.线上打印堆栈信息:
    jstack pid
6.修改代码，线上预发布运行观察对比
   jstack pid
   确认堆栈信息从接近3m降到接近200kb
7.持续观察