tofhao的博客
tofhao · 共 60 篇文章
日志统计排序分析
grep -E '\{' riskservice-interface-slow.log |cut -d "{" -f 2|awk -F"," '{for (i=1;i<100;i++) if($i!=""){ split($i,a,":" ) ;if(a[2]>10) s[a[1]]+=1}}END {for (i in s) print i,t=s[i]}'|sort -nrk 2
2020-04-23 17:37 · shell · 评论(0)
Anaconda使用
1.python 数据分析包 Anaconda-2.3.0-Windows-x86 2. http://www.afenxi.com/page/4?s=%E5%B0%8F%E7%99%BD%E5%AD%A6%E7%BB%9F%E8%AE%A1
2016-11-03 16:47 · python · 评论(0)
cpu突然飙高,过阵下降
1.首先业务属于web内网业务 2.按照经验jstack 查看,见另一篇文章,并无特点 3.查看jvm监控的数据 4.发现jvm的内存接近最大,然后gc,cpu使用率增高 5.解决设置xmx与xms均为4g,观察ok
2016-11-03 16:04 · java · 评论(0)
jstorm相关介绍学习文章
总体认识: http://www.aboutyun.com/thread-6873-1-1.html 1.介绍从任务提交--》任务领取——>任务执行 zookeeper与任务调度 http://blog.csdn.net/benbendy1984/article/details/50917984 https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85 2.基于(Flume+KafKa+JStorm+Esper+MySQL) https://github.com/wosyingjun/Leek
2016-11-03 15:54 · jstorm · 评论(0)
jstorm 安装
1.主要看阿里官网 https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85 2.linux环境默认已经安装了Python 3.Zookeeper安装省略 4.jstorm2.1.1依赖jdk7 查看linux docker是32位还是64:uname -a 5.下载JDK jdk-7u60-linux-x64.tar.gz 解压设置profile,生效source,验证java -version 6.下载jstorm-2.1.1 7.解压设置home与bin export JSTORM_HOME=…
gradle+idea+groovy+httpbulider环境搭建
1.idea15的安装简单省略 2.下载gradle-2.14-all 本机安装完成 3.idea 中配置gradle 如图,setting中选择grade,设置本地安装路径 4.新建工程测试groovy+java 5.设置依赖包以及目录,主要修改build.gradle group 'com.jd.tu' version '1.0-SNAPSHOT' apply plugin: 'groovy' apply plugin: 'java' sourceCompatibility = 1.5 repositories { mavenLocal() maven { url "http://art…
2016-11-03 15:25 · java gradle groovy httpbulider · 评论(0)
java.lang.OutOfMemoryError: unable to create new native thread
1.系统以及线上现象介绍: 以前运行正常,对比以前,任务数量具增,但数据并没有以前多; 线上问题:系统已经不正常,并且导致虚拟机节点重启不了,并且根据运维的反馈服务器上命令执行不了 2.日志查找分析: a.日志错误源查找如下: Java HotSpot(TM) 64-Bit Server VM warning: Attempt to allocate stack guard pages failed. Exception in thread "Thread-7050" java.lang.OutOfMemoryError: unable to create new native thread…
2015-08-05 18:58 · java · 评论(0)
maven基于项目创建模版
Maven 2 创建自己的模版,并使用模版创建工程 1.建立样板Maven工程并创建example 2.进入 template_p 工程根目录 执行:mvn archetype:create-from-project 目的:生成模版工程文件 3.进入 template_p/target/generated-sources/archetype 执行:mvn install 目的:安装到本地maven仓库 4.创建一个工程目录 example 5.进入 example 执行:mvn archetype:generate -DarchetypeCatalog=local <-Dfilter=xxx…
2014-08-06 16:13 · maven · 评论(0)
mat分析内存上涨的原因
MAT Eclipse Memory Analyzer是一个非常好用的内存dump文件分析工具,我们可以利用它的Eclipse 插件轻松实现查看对象树、对象大小、生成报告,甚至自动化分析可能出现泄露的对象。关于MAT的使用介绍可以参考:http://www.ibm.com/developerworks/cn/opensource/os-cn-ecl-ma/index.html?ca=drs-。 文章中的例子是在windows平台下分析,对于非常大的dump文件就无能为力了。 Linux下使用MAT 对于非常大的dump文件MAT同样有办法分析,有下面几个步骤: Step 1:下载MAT的St…
2014-04-15 11:32 · java · 评论(0)
转发MySQL 加锁处理分析
MySQL 加锁处理分析 http://hedengcheng.com/?p=771#_Toc374698306 发表于 2013 年 12 月 13 日 由 hedengcheng 1 背景 1 1.1 MVCC:Snapshot Read vs Current Read 2 1.2 Cluster Index:聚簇索引 3 1.3 2PL:Two-Phase Locking 3 1.4 Isolation Level 4 2 一条简单SQL的加锁实现分析 5 2.1 组合一:id主键+RC 6 2.2 组合二:id唯一索引+RC 6 2.3 组合三:id非唯一索引+RC 7 2.4 组合…
2014-04-15 11:25 · mysql · 评论(0)
转:vm-sdk-java安装开发环境
vSphere Web Services SDK 安装 分类: 虚拟化&云计算 2013-03-22 02:48 479人阅读 评论(0) 收藏 举报 The VMware vSphere Web Services SDK includes all the components necessary to work with the VMware vSphere API, including WSDL files, sample code, and libraries. The vSphere Web Services SDK facilitates development of client…
2014-02-19 21:09 · java · 评论(0)
intellij idea 意外挂掉
1.intellij idea 意外死掉后,maven加载不了,打包报can't save server setting java.io.IOException 2.因为配置等信息丢失,重新配置maven等, vm 参数:-noverify -javaagent:m:\jrebel\jrebel.jar -Drebel.spring_plugin=true 3.重启idea
2014-01-13 10:19 · “intellij idea” · 评论(0)
redis lua脚本测试功能
1.使用redis2.6版本,redis自带的客户端 2.准备值设置值 set k1 5 set k2 6 set k3 4 3.使用lua脚本: eval "local a,retlist=0,{} for _,k in pairs(KEYS) do if tonumber(redis.call('GET', k)) <tonumber(ARGV[1]) then a=a+1 retlist[a]=k end end return retlist" 3 k1 k2 k3 5 4.返回k2 5.api参考 http://www.codingnow.com/2000/download/lua_…
2013-10-18 13:36 · redis · 评论(0)
多线程测试对比infobright取数
#! /usr/bin/env python #coding=utf-8 import threading,sys import random import time from Queue import Queue import MySQLdb,time,datetime isFinish=False count_num_sql='''select count(1) t from fact_user_msg ''' #con_sql='''where ( d_o_lastordertime>='2012-06-19' and s_usr_level>60 and i_u_verified=1…
对比mysql一般引擎与infobright--2
切换到同一台物理机测试 1.物理机的情况: 内存:16g cpu:4核 cpu MHz : 800.000 2.建同样的库表 3.造数据5000w测试 ||sql||数量||mysql||infobright ||在服务器上全表count||5000w||25.08s||0.08s ||python执行:d_o_lastordertime>='2012-06-19' and s_usr_level>60 and i_u_verified=1 ||0||36s||<1s ||count:i_u_sex=1 and s_o_usermob_type=2 and i_o_ordesnum_3m=4…
2013-07-24 11:07 · mysql · infobright · 评论(0)