ITeye博客

扬州老鬼的博客

扬州老鬼 · 共 58 篇文章

关于SolrCloud的集群启动慢的原因调查

原创,转载请注明出处 在维护SolrCloud 集群过程中,最害怕的重启SolrCloud 集群,因为这需要等待很长的时间。 至于为啥要等待这么长的时间,到了今天我才花了点时间弄明白了。了解原理之后我也找到了快速重启集群的方法。 首先我们要说明的是,SolrCloud 集群在重启过程中步骤。 1.启动core实例,加载配置,replay log。这个不是本文所讲述的重点,暂时不去探讨。 2.Recover 、Sync恢复和同步。 整个事件就花费在recover和sync上面。 那么这个过程到底做了什么? 通过对比日志和代码,solr会把第一个启动实例作为集群中的leader,这个leader…

2015-02-04 15:53 · solr · 评论(0)

Spark的TaskScheduler和DagScheduler

原创,转载请注明出处。 开始研究神奇的spark。会陆续将研究的心得放上来。 在Spark中一个核心的是模块就是调度器(Scheduler),在spark中Scheduler有两种TaskScheduler(是低级的调度器接口),DagScheduler(是高级的调度) 我们在创建SparkContext对象的时候,sparkcontext内部就会创建TaskScheduler和DagScheduler,奇迹从此就发生了。 其中TaskScheduler和DagScheduler的关系。 DagScheduler:DagScheduler是一个高级的scheduler 层,他实现了基于sta…

2014-04-03 16:56 · Spark · 评论(0)

Jmeter 发送json

使用jmeter发送json数据。方法有三种 原创,转载请注明出处 1.利用CSV Data set Config。 参考: http://demi-panda.com/2013/01/08/how-to-use-a-csv-file-from-json-with-jmeter/ 2.直接在HTTP请求sampler当中,把json字符串放在Post body。 3.可以直接放在parameters 其实2和3 都是等同的。 注意,发送json格式的http请求的时候,需要添加HTTP信息头管理器设置Content-Type=application/json

2014-02-10 18:17 · 工具软件 · 评论(1)

HDFS DATANODE 磁盘容量的最小值

原创,转载请注明出处 HDFS的DATANODE的剩余空间具体要到多大?关于这个问题,下面记录下对这个问题的调查 昨天,讨论群里面给出了一个异常: op@odbtest bin]$ hadoop fs -put ../tmp/file3 /user/hadoop/in2 14/01/15 02:14:09 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hadoop/in2/file3._COPYING_ cou…

2014-01-16 11:29 · Hadoop · 评论(0)

编译drill +hadoop 2.2

原创,转载请注明出处 花了点时间将drill+apache hadoop2.2 编译出来了。 之前在drill邮件列表将编译过程整理了一下,现在也整理一份放在我的iteye上面。。 add a profile section to pom.xml: <profile> <id>apache</id> <properties> <alt-hadoop>apache</alt-hadoop> </properties> <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-commo…

2013-12-20 15:17 · Hadoop · 评论(1)

hadoop 关闭进程时报错no 进程 to stop

原创,转载请注明出处 前两天和朋友李天王吃饭的时候,聊到了一个hadoop的运维的很简单问题,感觉很有意思,以前也没有注意过,现在加以重现和整理。 感谢李天王的分享。。。。 翻看了yarn-deamon.sh stop部分的脚本: (stop) if [ -f $pid ]; then TARGET_PID=`cat $pid` if kill -0 $TARGET_PID > /dev/null 2>&1; then echo stopping $command kill $TARGET_PID sleep $YARN_STOP_TIMEOUT if kill -0 $TARGET_PID…

2013-11-19 10:55 · Hadoop · 评论(1)

Apach Dril的计算流程说明

原创,转载请注明出处 花了两天时间,学习了Drill的工作流程,这要感谢Timothy Chen提供Drill关于工作流的文章。 工作流的图(注:该工作流是针对alpha版本的说明): 原文地址: http://tnachen.wordpress.com/2013/11/05/lifetime-of-a-query-in-drill-alpha-release/ 如上图所知,本文所述的drill query需要Zookeeper以及Hazelcast ,同时是通过sqlline命令行来进行查询,而DrillBit 是一个运行在集群中某个节点上面的一个Drill 过程。 Client 上图中的…

2013-11-14 09:37 · Hadoop · 评论(0)

Apach Dril的Logical Plan的详解2

原创,转载请注明出处 原文: http://www.confusedcoders.com/bigdata/apache-drill/understanding-apache-drill-logical-plan Apache Drill在内部会产生2个plan:一个是Logical Plan一个是Physical plan。 输入的query可以是SQL 2003的sql或者DrQL,或者是MongoQL,查询语句会首先被转成Logical plan,然后Drill会使用它的优化规则来对logical plan进行优化,最终产出physical plan,physical plan就是最后由…

2013-11-11 23:12 · Hadoop · 评论(0)

Apache Drill的Logical Plan的语法

原创,转载请注明出处。 利用业余时间完成了对Drill的两篇文档的翻译,希望方便大家学习drill。 本文是Drill的Logical Plan的翻译稿。drill logical plan是内部信息,虽然我们使用时候不需要关注logical plan,但是对于开发,这个还是需要了解。 前言 Drill的一个目标是在函数层定义清晰的接口以便将来的扩展需求。这就需要理解Drill组件和通用字典。Drill的执行流是由用户或者机器产生的查询请求,被提交给query parser。在query parser中查询请求会被解析成为logical plan. logical plan描述了查询操作的基…

2013-11-05 17:57 · Hadoop · 评论(2)

Apache Drill的ValueVector数据结构说明

原创,转载请注明出处。 关注很久的hadoop实时计算框架drill终于发布了他的里程碑的第一版本。 官网地址: http://incubator.apache.org/drill/ 目前开始慢慢学习,首先翻译一份官方文档,介绍Apache drill的数据结构ValueVector。 完成于2013年11月03日凌晨0:30 Value Vectors 本文档的作用是描述定义在Operator之间传递列式数据的时候所需要的数据结构。 Goals Support Operators Written in Multiple Language(多语言支持) ValueVector 需要支持使用C…

2013-11-03 00:31 · Hadoop · 评论(0)

Hbase MTTR介绍

翻译一篇关于HBase MTTR的文章介绍,转载请注明出处。 原文的地址 http://hortonworks.com/blog/introduction-to-hbase-mean-time-to-recover-mttr/ Hbase 是一个always-available的服务,在机器故障的时候保持可用性,集群中的机器都运行regionserver daemons。但一个regionserver出现故障,或者机器掉线,那么保存在上面的regions也同样掉线。Hbase中MTTR的能够检测异常,尽可能早的恢复对掉线region的访问。 文章解释了hbase如何管理MTTR,并且介绍了一…

2013-08-19 13:15 · Hadoop · 评论(0)

Cloudera官网上下载hadoop的tar的地址

最近要找资料,要到Cloudera官网找资料,发现熟悉下载页面变得特别大,居然花了几分钟才能找到tar包下载路径了。 估计是cloudera要推自己的hadoop的相关产品。 所以要下载tar玩hadoop的童鞋么,注意了,下载路径不容易找。 我写来是方便一下童鞋们: Cloudera Download页面,找到 Cloudera Standard 点击 Individual Components and Features,就能找到CDH等各个组件的下载链接了。。。

2013-08-14 17:59 · Hadoop · 评论(0)

Zookeeper Log4j日志输出修改

原创转载请注明出处。 今天配置一下了zookeeper。配置的步骤我就不再写了。就是不习惯zookeeper的log日志输出,他是直接输出到当前zookeeper.out的文件,这是一个控制台的重定向文件。 所以想着让zk的操作日志输出到标准的log4j文件。 首先修改了: conf/log4j.properties: # Define some default values that can be overridden by system properties zookeeper.root.logger=INFO, CONSOLE 改成 # Define some default valu…

2013-08-09 11:22 · Hadoop · 评论(2)

MultipleInputs.addInputPath注意点

原创,转载请注明出处: 使用MultipleInputs.addInputPath添加多输入源(超过两个)的时候: MultipleInputs.addInputPath(conf, new Path(otheArgs[0]), TextInputFormat.class,JoinNodeMapper2.class); MultipleInputs.addInputPath(conf, new Path(otheArgs[1]), TextInputFormat.class,JoinMemMapper2.class); MultipleInputs.addInputPath(conf, ne…

2013-04-08 19:07 · Hadoop · 评论(0)

raw设备minor号相同的问题以及解决方法

原创,转载请注明出处。 我的OS是RHEL6.2, 需要对99块逻辑卷进行raw设备映射,使用udev来对raw进行管理 修改/etc/udev/rules.d/60-raw.rules: ACTION=="add", KERNEL=="/dev/mapper/oracle_vg01-rlvoracle01", RUN+="/bin/raw /dev/raw/raw1 %N" ACTION=="add", ENV{MAJOR}=="253",ENV{MINOR}=="7", RUN+="/bin/raw /dev/raw/raw1 %M %m" //这两行是必须的。 ...... ACTIO…

2013-03-25 19:23 · linux 故障修复 · linux · oracle · 评论(0)