gary Blog

Stay hungry. Stay foolish.

Shadowsocks-Linux

apt-get install python-pip pip install shadowsocks vi /etc/shadowsocks.json { "server":"my_server_ip", "local_address": "127.0.0.1", "local_port":1080, "server_port":my_server_port, "pas...

April 15, 2019

Spark内存

Spark On Yarn. HDP 2.6.3(Spark2.2,Yarn 2.7.3) 基础 ExecutionMemory用于spark计算中的shuffles、 joins、sorts 、 aggregations这些操作。 StorageMemory用于缓存数据和保存广播变量数据。 Spark On Yarn,deploy-mode是Client时driver运行在...

March 15, 2019

SparkStreaming的ActiveBatches出现堆积

现象从Spark UI看，Active Batches出现堆积。原因 event队列满解决 // 默认10000,增大 sparkConf.set("spark.scheduler.listenerbus.eventqueue.size", "100000"); 附:排查过程方法一：根据程序逻辑去查询对应时段是否有数据,如下图: 方法二：点击任意active bat...

March 13, 2019

SparkUI样式问题

问题 Spark UI样式丢失，显示异常。原因 jar包冲突解决 servlet-api：排除2.5（hadoop-client带），保留3.x，例如3.1.0。 Jersey：如果还不行再检查此项是否有冲突。

March 6, 2019

Cassandra安装

安装 echo "deb http://debian.datastax.com/community stable main" | sudo tee -a /etc/apt/sources.list.d/cassandra.sources.list curl https://www.apache.org/dist/cassandra/KEYS | sudo apt-key add - # 如果...

February 26, 2019

HDP组件版本

version 2.6.3 2.6.4 2.6.5 3.0.1 3.1.0 Accumulo 1.7.0 Accumulo 1.7.0 Accumulo 1.7.0 Accumulo 1.7.0 Accumulo 1.7....

February 23, 2019