Kaka Blog

追求自我价值的实现

【架构】Hadoop集群添加新节点（六）

目的添加Hadoop-Slave2到集群。主机 IP Hadoop-Master 192.168.241.140 Hadoop-Slave 192.168.241.141 Hadoop-Slave2 ...

Posted by Kaka Blog on September 18, 2018

【分析】用Hive搭建数据仓库（五）

Hive简介 Hive是一个在Hadoop中用来处理结构化数据数据仓库基础工具。它是建立在Hadoop之上的数据仓库基础架构，总归为大数据，并使得查询和分析方便。 Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。 Hive的特点它存储架构在一个数据库中并处理数据到HDFS。它是专为OLA...

Posted by Kaka Blog on September 12, 2018

手把手搭建Shadowsocks

搭建自己的Shadowsocks 购买VPS 帮瓦工地址：https://bwh1.net/index.php VPS终身优惠6% : BWH1ZBPVK 现在购买的VPS没有一键安装Shadowsocks服务，所以需要自己手动安装。机房选择：优先选择香港机房，其次选择美国西海岸机房(CN2/直连方案)，稳定性有保障。美国西海岸4个[首选]：洛杉矶QNET、洛杉矶MCOM、硅...

Posted by Kaka Blog on September 12, 2018

【存储】HDFS的数据操作（四）

HDFS架构 HDFS工作原理文件是被切块存储在若干台datanode服务器上 hdfs提供了一个统一的目录树来定位hdfs中的文件，客户端访问文件时只要指定目录树的路径即可，不用关心文件的具体物理位置每一个文件的每一个切块，在hdfs集群中都可以保存多个备份（默认３份），在hdfs-site.xml中，dfs.replication的value的数量就是备份的数量...

Posted by Kaka Blog on September 11, 2018

【计算】MapReduce基础入门（三）

什么是MapReduce？ MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。 MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。 MapReduce执行流程在Hadoop中，用于执行MapReduce任务的机器角色有两个： JobTracker用于调度工作的，一个Hadoop集群中只有...

Posted by Kaka Blog on September 10, 2018

【架构】手把手安装Hadoop集群（二）

Hadoop由来最先受到由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发，2011年发布第一版，截止目前为止，稳定版到3.0.0。 Hadoop简介 Hadoop是 Apache开源软件基金会开发的运行于大规模普通服务器上的大数据存储、计算、分析的分...

Posted by Kaka Blog on September 6, 2018

【概念】大数据究竟是个啥？（一）

现在人人都在说大数据，大数据这个概念从2008年8月由维克托·迈尔-舍恩伯格及肯尼斯·库克耶提出，但是什么是大数据，对于不同的人有不同的理解。对资深码农来说在资深码农看来，大数据就是一堆技术的集合，就是上面的图，第一感觉就是，靠，这么多技术怎么学，从哪里学起？对学术男或市场来说对学术男或市场来说，就需要有一个定义，没有一个定义感觉就是飘乎乎。定义：大数据指的是传统数据...

Posted by Kaka Blog on September 6, 2018

软件架构设计

软件架构的概念架构设计就是需求分配，即将满足需求的职责分配到组件上。软件架构的发展史汇编语言→程序结构设计→统一建模语言→4+1视图 4+1视图：逻辑视图（Logical View）：设计的对象模型进程视图（Process View）：捕捉设计的并发和同步特征部署视图（Deployment View）：描述了软件到硬件的映射，反映了分布式特性实现...

Posted by Kaka Blog on September 4, 2018

TOGAF关键概念（三）

架构 English Chinese Application Architecture A description of the structure and interation of the applications as groups of capabilites that provide key ...

Posted by Kaka Blog on August 31, 2018

TOGAF前言（二）

前言企业要求的架构师不再仅仅是做IT，而是能解决业务问题，具备一种高层次的企业视野，聚焦于组织的IT和业务之间。什么是企业架构？企业架构是一个涵盖业务和IT的全面的企业蓝图设计方法。它明确定义了企业的经营目的，并描述了实现这个商业愿景的平台，可以帮助管理者洞察企业的现状，发现问题并不断予以改进。其中的“架构”可以被理解为：与企业经营战略紧密相连的一整套职能、组织、流程、IT系统、...

Posted by Kaka Blog on August 30, 2018