扬州老鬼
- 浏览: 302654 次
- 性别:
- 来自: 苏州
-
最新评论
-
wxcking：
引用引用[u][i][b][b][u]引用[list]
[*] ...
rpmbuild淘宝datax代码，File not found问题解决 -
扬州老鬼：
这两天又用了Jmeter，发送json，发现中文乱，也设置了c ...
Jmeter 发送json -
jorjimmy：
就这样啦？没有教人怎么看执行计划啊。。。。
SybaseIQ查看查询计划 -
WandyQian：
成功了，不过如果能在zkEnv.sh最前边加一句ZOO_LOG ...
Zookeeper Log4j日志输出修改 -
di1984HIT：
wo bu zhuan zai
编译drill +hadoop 2.2
文章列表
Hadoop中可是使用hadoop CLASSNAME命令。这个CLASSNAME就是你写好的类名。hadoop CLASSNAME命令类似于java classname。
使用hadoop CLASSNAM之前，你需要设置HADOOP_CLASSPATH.
export HADOOP_CLASSPATH=/home/hadoop/jardir/*.jar:/home/hadoop/workspace/hdfstest/bin/
其中/home/hadoop/jardir/包含了我所有的hadoop的jar包。
/home/hadoop/workspace/hdfstest/bin/就 ...
原创，转载请注明出处。
首先批评一下：淘宝开源了数据抽取的工具datax，但是他在开源之后后续技术支持简直惨不忍睹。技术文档完全不是一个业内技术航母应有的范儿，文档水准简直业余。个人觉得，你既然支持开源，起码也要尊重开源，随便搞了一个文档就想糊弄，要知道这个使用者带来很大问题，并花费很多时间。
在RHEL 6.2 rpmbulid datax源码包，出现报错信息：
[root@Hadoop rpm]# rpmbuild -ba t_dp_datax_engine.spec
。。。。。
Processing files: t_dp_datax_engine-1.0.0-1.noarc ...
oracle安装那么多回，也从来没有出现这样的情况，表示蛋疼。
我的安装环境如下：
硬件环境：富士通RX300 S7
OS：RHEL 6.2
oracle 版本：oracle 10g
按照以前正常的安装顺序，oracle倒是能安装成功。但是安装之后重启系统，系统居然无法启动。连单用户模式都无法进入。oracle安装都做了很多遍了，除了第一次在RX300 S7的6.2上面装之外，其他的没有什么不同啊。而且网上也有很多人在6.2上面安装过，我自己也在普通pc的6.2上面安装过，也都OK啊。实在是毫无头绪。来来回回重装了5次系统，逐步确定和oracle软件无关，那么只能和安装or ...
我需要扩大我的root所在的逻辑卷，运行命令之后,结果出现错误，并挂起：
[root@Hadoop ~]# lvextend -L +20G /dev/mappers/VolGroup-lv_root
Extending logical volume lv_root to 45.55 GiB
---
device-mapper: resume ioctl failed: Invalid argument
Unable to resume VolGroup-lv_root (253:0)
此处重启都失败。所以我就直接关电源，重启之后机器就出现：kernel panic的错误。
到 ...
hdfs的文件访问控制
- 博客分类：
- Hadoop
这两天准备研究一下hadoop的文件访问控制。先从hdfs的访问控制来说。
这篇文章很简单，主要是提醒自己以及各位注重hdfs上面的访问控制。
在hdfs上面的文件以及文件目录的访问控制，跟操作系统的访问控制是一样的，posix文件系统的权限控制模型一样。我只讲怎么验证：
drwxrwxrwx - hadoop root 0 2013-03-09 11:14 /user/root
-rw-rw-rw- 3 hadoop root 29 2013-03-09 11:03 /user/root/input
drwxr-xr- ...
Delegation Token
- 博客分类：
- Hadoop
原创,转载请注明出处
若设置了dfs.block.access.token.enable=true时，启动时的日志中：
会有这样两条日志：
2013-02-21 19:59:07,006 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: dfs.block.access.token.enable=true
2013-02-21 19:59:07,006 INFO org.apache.ha ...
WEBHDFS是一个基于REST的接口。可以查看文件系统，以及文件的内容：
在hdfs-site.xml中配置：
<property>
<name>dfs.namenode.http-address</name>
<value>Hadoop:50070</value> //这个可以不用配置
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</v ...
Hadoop Metrics2
- 博客分类：
- Hadoop
Apache Hadoop 0.20.203 and Later, and CDH4 (metrics2)
从Apache Hadoop 0.20.203开始，metrics2就必须被使用了，从管理员的角度来说，最值得关注的变化就是配制方法和一些命名系统的变化。其中很多概念和功能集成了metrics1的特点。
Metrics1首要的不足之处是其context和插件之间一对一的关系。对于hadoop来说，能够支持metrics信息能被多个插件同时处理是很有必要的，在metrics2中，我应用metrics sources和sinks。source是产生的metrics信息，而sinks就是消费这些 ...
Hadoop Metrics1
- 博客分类：
- Hadoop
本文是对Hadoop Operation（by Eric Sammer）的翻译稿。
转载请注明出处
Hadoop Metrics
Hadoop内部包含一套对外开放的各种metrics接口支持。每一个hadoop的守护进程都可以被配置定期去收集其自身内部组件的数据信息，然后可以通过调用某些插件来处理这一批metrics。目前已经有很多与hadoop配套的插件，这些插件可以应用在一般的部署场景。相互联系的一部分metrics划归为context（上下文），每一个context都是可以被独立对待。一些context是针对所有的daemon，比如说JVM，RPC，
还有一些对应一些特殊的daemon， ...
大数据来临，战略与业绩
- 博客分类：
- 大数据
翻译一篇关于大数据的文章，觉得很好。
原文是：
http://blogs.hbr.org/cs/2012/10/getting_started_on_a_big_data.html
同时参考了：
http://cdc.tencent.com/?p=6580
正文：
大数据获取，以及分析正成为新企业竞争差异化的新的前沿战场。在最近的 ...
IQ下面做应用开发的时候，遇到一个好玩的事情：
情况1中，发现一个规律，union all 中执行顺序是：
以第一个union all 的select 语句（如 红色标记）为分界线。
先从最后union all的select(如蓝色标记）开始倒序输出到 红色标记的select子句，
再输出第一个select子句
最后输出红色标记的select子句
select '1' AREA_NAME
union all
[color=red]select '3' AREA_NAME [/color]
union all
s ...
在一次troubleshooting的过程中，需要确认系统是否已经工作在SMP环境中，并查看各个cpu的负载情况，下面总结了一下方法。
第一：确认安装的redhat 5.8是开启了SMP(Symmetric Multi-Processing对称多处理结构)服务的。
[root@cepsvr1 ~]# uname -a
L ...
转载：Java程序员应该知道的10个调试技巧。
http://tech.it168.com/a2012/1024/1412/000001412535.shtml
要使用powerdesigner连接oracle数据库。需要建立odbc数据源。
之前一直尝试使用Microsoft ODBC for oracle来创建数据源。但是连接一直失败。
后来使用Oracle ODBC Driver 来创建数据源。现在整理如下：
看附件吧，过程简单，但是两个注意点不能忽视。
AWR以及ASH状态报告脚本类型
- 博客分类：
- oracle
AWR状态报告脚本类型：
awrrpt.sql：获取本实例中的AWR报告
awrrpti.sql:获取指定实例中的AWR报告。
（比如一个oracle安装了多个数据库的情况，或者一个数据库中集中存储了多个实例的AWR数据）
awrsqrpt.sql：获取某个SQL语句的AWR报告。（通过sqlid来指定）
awrsqrpi.sql：获取指定实例的的某个SQL的AWR报告
awrddrpt.sql ：对比两个时间段的报告。
awrddrpi.sql：获取指定实例中的两个时间段的报告，或者两个实例的各自一个时间段内的报告。
ASH Reports
ASH每秒都对History v$session ...