您当前的位置:首页 > hadoop

Docker安装集群?图啥呢?不图啥,就是图好玩,本篇博客主要是来教大家如何搭建一个Docker的Hadoop集群,不要问为什么我要做这么无聊的事情,答案你也许知道,就是喜欢折腾。好了,不多说这些没有必要的东西了,首先,我们来安装Docke

日期:2015-09-17 查看全文
Docker安装Hadoop集群


一、Cloudera Manager/CDH51、关于cloudera manager和CDH是什么,这里不做详细介绍了。有官网和百科介绍。附上官网地址:cloudera manager2、官网的安装指南官方文档提供了三种安装方式:在线自动安装/手动安装包安装/手

日期:2015-09-17 查看全文
基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装


在探讨今天的主题《如何利用各类资源学习知识》之前,让我们首先搞清楚另一个问题:大数据Hadoop到底是什么?简单来讲,Hadoop是一套用于实现大数据技术的框架方案。为了顺利掌握Hadoop,大家需要理解两项与文件存储以及数据

日期:2015-09-17 查看全文
15种最佳方式帮你顺利掌握Hadoop技术


Operations内容简介此书很不错,可惜只有英文版的,没有中文版。If you've been tasked with the job of maintaining large and complex Hadoop clusters, or are about to be, this book is a must. You'll learn the

日期:2015-09-17 查看全文
Hadoop Operations 清晰英文PDF版


中文书名:高级编程——构建与实现大数据解决方案
原书名:Professional Hadoop Solutions
原出版社: Wrox
作者: [美]Boris Lublinsky Kevin T. Smith Alexey Yakubovich
译者: 穆玉伟 靳晓辉
出版

日期:2015-09-17 查看全文
Hadoop高级编程——构建与实现大数据解决方案(Professional Hadoop Solutions ) 高清晰PDF 中英文版


一、概要公司近期Storm清洗程序那边反应HDFS会出现偶发性的异常导致数据写不进HDFS,另外一些Spark作业在大规模往HDFS灌数据时客户端会出现各种“all datanode bad..”以及服务端出现各种timeout,值得注意的

日期:2015-09-17 查看全文
Hadoop(2.5,2.6) HDFS偶发性心跳异常及大量DataXceiver线程被Blocked故障处理


近几年大数据越来越火热。由于工作需要以及个人兴趣,最近开始学习大数据相关技术。学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘。第一篇,在Win7虚拟机下搭建2.6.0伪分布式环境。1. 所

日期:2015-09-17 查看全文
在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境


上一篇在Win7虚拟机下搭建了2.6.0伪分布式环境(见 )。为了开发调试方便,本文介绍在Eclipse下搭建开发环境,连接和提交任务到Hadoop集群。1. 环境Eclipse版本Luna 4.4.1安装插件hadoop-eclipse-plugin-2.6.0.jar,下载后

日期:2015-09-17 查看全文
搭建Hadoop2.6.0+Eclipse开发调试环境


的安装和配置可以参考我之前的文章: 。本篇介绍如何在Hadoop2.6.0基础上搭建spark1.4.0单机环境。1. 软件准备 scala-2.11.7.tgzspark-1.4.0-bin-hadoop2.6.tgz都可以从官网下载。2. scala安装和配置 scala-2.11.7.t

日期:2015-09-17 查看全文
在Win7虚拟机下搭建Hadoop2.6.0+Spark1.4.0单机环境


前几篇文章主要介绍了单机模式的和Spark的安装和配置,方便开发和调试。本文主要介绍,真正集群环境下Hadoop和Spark的安装和使用。1. 环境准备集群有三台机器:master:W118PC01VM01/192.168.0.112slave1:W118PC02VM01/192.1

日期:2015-09-17 查看全文
搭建Hadoop2.6.0+Spark1.1.0集群环境