gary Blog

Stay hungry. Stay foolish.

迁移NameNode后修改Hive

背景 CDH(6.3.2)集群的NameNode部署位置迁移、namespace不变。 HDFS服务迁移(通过UI迁移角色)并恢复后，Hive查询carbondata等表可能失败，报错： Error: java.net.ConnectException: Call From 主机名/IP to 旧NN的主机名/旧NN的IP:8020 failed on connection exceptio...

August 15, 2021

Spark程序使用shade插件打包fatjar

背景 Spark On Yarn时，运行环境已有一些jar，所以打包时可排除掉以减小体积和避免冲突。以HDP-2.6.3.0-235为例，在yarn的container日志中，可以看到在启动java进程时的CLASSPATH定义： export CLASSPATH="$PWD:$PWD/__spark_conf__:$PWD/__spark_libs__/*:/usr/hdp/2.6.3...

December 15, 2019

DolphinScheduler

版本本文基于1.1.0的tag: https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.1.0 大数据环境基于Ambari 2.6.3.0-235。运行单docker快速体验 docker run --name dolphinscheduler -d -p 8888:8888 gary0416/dol...

October 30, 2019

Apache Atlas

Apache Atlas HBase新建命名空间 su - hbase hbase shell create_namespace 'atlas' grant 'atlas', 'RWXCA','@atlas' 安装Atlas ambari上直接添加服务。配置修改： atlas.audit.hbase.tablename atlas:ATLAS_ENTITY_AUDIT_...

September 14, 2019

Spark读取SequenceFile取值错误问题

现象读取SequenceFile并转成Tuple，在后续使用时，取值都是文件里最后一条记录的值，而不是实际文件内容。例如： SequenceFile内容为k1,v1和k2,v2两行。rdd foreach输出，两条都是k2。读取SequenceFile，最终生成Tuple3(文件名，key，val)的rdd，则错误示例代码如下： String path = "/your-path/...

September 13, 2019

SparkSQL查询Hive

1. 命令行方式 hive-site.xml放到spark的conf下即可，注意此处非全部配置，配置key如下： hive.metastore.uris (主要) hive.server2.thrift.port hive.server2.enable.doAs hive.metastore.client.socket.timeout hive.metastore.c...

August 29, 2019

ClickHouse

启动clickhouse-server(docker) 获取配置文件 docker run --name tmp-clickhouse-server -d yandex/clickhouse-server docker cp tmp-clickhouse-server:/etc/clickhouse-server/ . docker rm -f tmp-clickhouse-server ...

August 17, 2019

Tampermonkey

Tampermonkey 自定义脚本 csdn/iteye/yq等网站自动点击查看更多 // ==UserScript== // @name readmore // @namespace http://tampermonkey.net/ // @version 0.1 // @description csdn/iteye/yq等网站自动点击查看更多 //...

June 17, 2019

VS-Code

VS Code配置 settings.json { "workbench.startupEditor": "newUntitledFile", "vetur.format.defaultFormatter.js": "prettier-eslint", "eslint.validate": [ "javascript", "javasc...

April 16, 2019

Ubuntu-desktop安装后操作备忘

初始化root密码 sudo passwd 修改源备份 cp /etc/apt/sources.list /etc/apt/sources.list.bak 然后修改: aliyun的见 https://opsx.alibaba.com/guide?lang=zh-CN&document=69a2341e-801e-11e8-8b5a-00163e04cdbb，例如： deb ...

April 15, 2019