Kaka Blog

追求自我价值的实现

【计算】大数据分析引擎-Impala（十一）

Impala概念和架构 Impala简介基于Google的Dremel为原型的查询引擎，Cloudera公司推出，提供对HDFS、HBase数据的高性能、低延迟的交互式SQL查询功能。 Impala服务器是一个分布式，大规模并行处理（MPP）的服务引擎。基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。 SMP与MPP SMP(Symm...

Posted by Kaka Blog on October 19, 2018

Spring Cloud（六）：服务注册中心Consul

为什么使用Consul 6月，知名服务注册与服务发现工具 Eureka 的 GitHub Wiki 上显示其 2.0 版本的开源工作已经停止。这意味着如果开发者继续使用作为 2.x 分支上现有工作 repo 一部分发布的代码库和工件，则将自负风险。对此，专家建议开发者尽快将相关业务迁移到 Consul/ZooKeeper/Etcd 等工具上。对比 Fea...

Posted by Kaka Blog on October 13, 2018

系统可靠性分析与设计

可靠性指标平均无故障时间（MTTF）平均故障修复时间（MTTR）平均故障间隔时间（MTBF）：MTTR+MTTF 系统可用性：MTTF/(MTBF)*100% 可靠性：系统无故障运行的概率，减少系统故障的次数。可用性：在某个给定时间点上系统能够按照需求执行的概率，减少从灾难中恢复的时间。系统容错分类避错技术容错技术...

Posted by Kaka Blog on October 12, 2018

项目管理

范围管理范围计划编制范围定义：产品范围和工作范围创建WBS 范围确认范围控制时间管理活动定义活动排序活动资源估算：专家判断法、三点估算法、功能点估算法、自上而下、自下而上活动历时估算制定进度计划进度控制：是否是关键活动、偏差是否大于总时差、偏差是否大于自由时差前导图法（单代号网络图，PDM）最短工期对应最...

Posted by Kaka Blog on October 10, 2018

系统安全分析与设计

安全基础技术对称加密技术加密和解密用到同样的密钥。缺陷：加密强度不高，但效率高密钥分发困难常见的算法： DES：位移+替换，速度快，56位密钥 3DES，128位密钥 RC-5 IDEA算法非对称加密技术公钥+私钥缺陷：加密速度慢常见的算法： RSA：512位密钥 ECC 信息...

Posted by Kaka Blog on October 5, 2018

装修攻略（一）

第1天，电表开户上午，拿着身份证和银行卡，购房合同到揭东供电局办理开电表手续，很快就开完，拿着开好附件到物业登记，然后跟我说了装修需要带4张图纸，平面图、墙面图、水电图，那这4张图给物业审核就行。之后准备去交搬运费，可以便宜200元，也就是要交4400，预付50%，但是老板没接电话，就先走了。去了索菲亚看了下全屋定制，感觉一般，不适合。按照计划去揭阳的尚品宅配，参观了他们的定制家具，...

Posted by Kaka Blog on October 4, 2018

【架构】在Ubuntu 14.04安装Cloudera（十）

环境准备节点规划 IP地址主机名配置 192.168.241.150 cdh-master 内存3G，硬盘20G 192.168.241.151 cdh-slave 内存3G，硬盘20G ...

Posted by Kaka Blog on September 26, 2018

【架构】Cloudera大数据平台环境离线搭建（九）

CDH简介 CDH是Cloudera公司提供的Hadoop发行版，它在原生开源的Apache Hadoop基础之上，针对特定版本的Hadoop以及Hadoop相关的软件，如Zookeeper、HBase、Flume、Sqoop等做了兼容性开发，我们在安装CDH发行版的Hadoop时就无需进行额外繁琐的兼容性测试。以往安装配置使用Apache Hadoop时，完全需要手动在服务器上，通过...

Posted by Kaka Blog on September 20, 2018

【存储】HBASE表操作命令介绍（八）

启动HBase start-all.sh # 启动Hadoop zkServer.sh start # 所有节点启动Zookeeper start-hbase.sh # 启动HBase 连接HBase hbase shell 通用命令 status: 提供HBase的状态，例如，服务器的数量。 version: 提供正在使用HBase版本。 table_help:...

Posted by Kaka Blog on September 19, 2018

【存储】HBASE入门及安装部署（七）

HBase介绍 HBase是Hadoop Database的简称，是一个分布式的、面向列的开源数据库。使用HBase在HDFS读取消费/随机访问数据（随机存取）。利用Hadoop HDFS作为其文件存储系统利用Hadoop MapReduce来处理HBase中的海量数据利用Zookeeper作为协同服务高可靠、高性能、面向列、可伸缩 HBase架构 HBa...

Posted by Kaka Blog on September 18, 2018