阅读目录 序 时间同步 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。 文章是哥...

====前提： 搭建好集群环境（zookeeper、hadoop、hbase）。 搭建方法这里就不进行介绍了，网上有很多博客在介绍这些。 ====简单需求： WordCoun...

原文档地址：http://kafka.apache.org/documentation.html ############################# System ############################# #唯一标识在集群中的ID，要求是正数。 b...

Apache Hadoop简介 对Hadoop感兴趣，写点东西记录一下学习之路。 （不跟风，合适的才是最好的，并不是全部企业都会用Hadoop，学习每样东西最...

1.准备Linux环境 1.0 点击VMware快捷方式，右键打开文件所在位置 - 双击vmnetcfg.exe - VMnet1 host-only -修改subnet ip 设置网段：192.168.8.0 子网掩码：...

Spark Streaming揭秘 Day2 五大核心特征 引子 书接上回，Streaming更像Spark上的一个应用程序，会有多个Job的配合，是最复杂的Spark应用程序。让我...

Spark Streaming揭秘 Day1 三大谜团 引子 在Spark的众多组件中，Streaming最接近企业级应用程序，学习Spark Streaming，是掌握大数据技术的一条捷径。...

小生今年研二，目前主要从事软件工程数据挖掘与分析。之前一直苦于找不到一个从数据预处理、数据分析、数据可视化和软件建模的统一...

均为最新数据 包含 号段前三位 中间四位 归属省份 归属市 运营商 卡类型 区号 邮编 等信息； 包含 17开头等少见号段信息； 移动号段 联通...

在Kettle的合并记录过程的时候，在为了转换解除补丁开始这一步的时候报错。具体错误如图所示： Kettle的转换如图所示： 问题原因： 可能...

阅读目录 序 HostName 问题 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。 文章是哥...

转载注明出处，整理也是需要功夫的，http://www.cnblogs.com/chenxianpao/p/5572859.html 一、OSD模块简介 1.1 消息封装 ：在OSD上发送和接收信息。 clus...

缩写: NN: neural network, 神经网络 MSE: Mean Squared Error, 均方误差 CEE: Cross Entropy Error, 交叉熵误差.( 此缩写不是一个conventional缩写 ) 标记符号: \(...

什么是索引？ 索引是什么大家都知道是加快查询用的，是的，没错，索引的根本作用是缩小扫描范围，而不是直接定位记录，直接定位记录...

部署环境： OS：Fedora 23 JDK：jdk-7u80-linux-x64 Hadoop：hadoop-2.7.2 VMWare：VMware Workstation 12 Pro 安装JDK rpm -ivh jdk-7u80-linux-x64.rpm 配置环境变量 用vim编...

本地模型运行 1：在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（...

上讲，讲述了大概九种的技术种类以及他们的领域。那么既然有吃饭的，那就必须有做饭的。因此大数据技术结构的选型，必须有的组成部...

大数据大数据，身边很多朋友都在谈大数据，Big Data！！！ 到底是什么，用来干嘛的，也很少有人说得出一二，那今天开始就简单说说这一...

在企业生产中，集群一旦运行，是要尽可能的将损失降到最低，现在所有的大数据技术都有HA，spark的、Hadoop的、HBase的等等， HA分冷备和热...

1.使用theano调用relu激活函数提示''It looks like your version of theano is out of date'' bug信息显然是提示更新theano版本，可是一看官网最新版本就是0....

经常遇到的exception是：PipeMapRed.waitOutputThreads(): subprocess failed with code N"OS error code 1: Operation not permitted" "OS error code 2: No such file or directory" "O...

http://blog.csdn.net/cbl709/article/details/43955687 www.chenbiaolong.com 概要 Docker是近年来新兴的虚拟化工具，它可以和虚拟机一样实现资源和系统环境的...

本文内容 背景 ES集群中第一个master节点 ES slave节点 本文总结 Elasticsearch（以下简称ES）搭建集群的经验。以 Elasticsearch-rtf-2.2.1 版本为例。...

Hadoop 2.x伪分布式环境搭建步骤： 1、修改hadoop-env.sh、yarn-env.sh、mapred-env.sh 方法：使用notepad++(beifeng用户)打开这三个文件 添加代码：export ...

上一篇文章介绍了Streaming的各种参数，本文具体介绍使用方法。 提交hadoop任务示例： $HADOOP_HOME/bin/hadoop streaming \ -input /user/test/input -output ...

一、需求 服务器的apache日志文件可能比较小，Hadoop更适合处理大文件，效率会更高，此时就需要合并分散的文件，开发一个PutMerge程序，用...

1、HDFS中NameNode的启动过程： 步骤1：namenode启动时，首先将fsimage（镜像）载入内存，并执行editlog日志的各项操作 步骤2：内存中建立起元数...

一、输入文件 hadoop mapreduce hadoopmapreduce yarnjps 二、实现效果 hadoop 2 jps1 mapreduce2 yarn1 三、分析 1）map端 输入： hadoop mapreduce hadoopmapreduce yarn...

Shuffle描述数据从map task输出到reduce输入的这段过程 1、map端shuffle功能 1）分区：决定将map task 交给哪个reduce程序处理； 2）排序：对分区中的...

一、对于CDH的小总结： CDH：是Cloudera公司在Apache开源项目hadoop的基础上发型的，共有五个版本 前两个已不再更新，最经的两个分别是CDH4（基...

一、需求 针对log日志中给定的信息，统计网站中不同省份用户的访问数 二、编程代码 package org.apache.hadoop.studyhdfs.mapreduce; import java.io.IOExc...

原文http://blog.csdn.net/jiyiqinlovexx/article/details/36526433主题 HBase 我们先看HConnection的getTable方法描述： getTable HTableInterface getTable(String tableName) t...

? 更多技术干货请戳：听云博客 一天吃完饭出去散步，周围的小房子不少有开始翻修了，有的直接准备起了6层楼。哎？突然产生一个疑问，...

安装过程很简单，主要记录期间碰到的问题： 安装过程： 下载安装包： hadoop:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar....

官网地址 本文内容 语法 测试数据 可配置选项 参考资料 date 插件是日期插件，这个插件，常用而重要。 如果不用 date 插件，那么 Logstash 将...

? 更多技术干货请戳：听云博客 断断续续写了将近一个月，听云第一版数据库管理平台终于写完了，期间来来回回的改了好多次小毛病，现...

源表结构： pcgid string mobilegid string value double 测试数据如下： p1 m1 0.6 p1m20.9 p2m11.0 需要的结果是： p1 {"m2":"0.9","m1":"0.6"} 2 p2 {"m1":"1.0"} 1 就是对...

接口定义: public interface ILoadBalanceT { T Balance(); } 实现: public class WeightObjectT where T : class { int weight; T activator; public WeightObject(T activator, int weig...

官网地址 本文内容 语法 测试数据 可选配置项 mutate 插件可以在字段上执行变换，包括重命名、删除、替换和修改。这个插件相当常用。 比...

SecondaryNameNode是用来合并fsimage和edits文件来更新NameNode和metadata的。 其工作流程为： 1.secondary通知namenode切换edits文件 2.secondary从namenode获得...

原文地址 本文内容 软件 步骤 控制相关性 总结 参考资料 本文介绍如何用带 Apache Mahout 的 MapR Sandbox for Hadoop 和 Elasticsearch 搭建推荐引擎，只...

我在三台安装SQL Server 2012的服务器上搭建分布式数据库，把产品环境中一年近1.4亿条数据大致均匀地存储在这三台服务器中，每台Server 存储...

本文内容 测试数据 字段属性 按多行解析运行时日志 把多行日志解析到字段 参考资料 在处理日志时，除了访问日志外，还要处理运行时日...

企业级大数据处理方案有三种业务场景： 1.离线处理；（mapreduce（第一代）、sparksql（第二代）） 2.实时处理；（数据库操作、storm） 3.准实...

1.启动zookeeper集群 对于hadoop，使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode，存储配置信息，对于HBase，使用Zookeeper的事件处理...

/apps/app/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --class com.zdhy.zoc2.sparksql.core.JavaSparkSqlLogRegularApp --files /apps/app/apache-hive-1.2.1-bin/conf/hive-site.xml --drive...

当我们的项目在不知不觉中做大了之后，各种问题就出来了，真jb头疼，比如性能，业务系统的并行计算的一致性协调问题，比如分布式架构...

新建一个Java项目，导入jar，新建一个测试类，编写代码实现文件操作功能： package com.bw.test; import java.io.FileInputStream; import java.io.FileOutputSt...

数据处理过程分为数据挖掘和数据分析，广义上说数据分析泛指整个过程，然而数据分析大的流程大致相同，如图： 数据挖掘一般都要经过...

概述 Hive 将作为我日后工作主要使用的工具，这里分享一些相关的技术。我想通过讲解hive体系结构来建立基...

1、准备文件并设置编码格式为UTF-8并上传Linux 2、新建一个Java Project 3、导入jar 4、编写Map()和Reduce() 5、将代码输出成jar 6、在linux中启动hdfs...

1 二次排序 1.1 思路 所谓二次排序，对第1个字段相同的数据，使用第2个字段进行排序。 举个例子，电商平台记录了每一用户的每一笔订单的...

参考 SAP给他的客户的帮助《ODBO, BAPI and XMLA - Sap》 SAP BW 提供的查询接口: 接口 查询语言 调用接口 OS平台 客户端开发 ODBO MDX COM(Componet Objec...

本文翻译原链接：https://hadoopabcd.wordpress.com/2015/03/17/hdfs-file-blocks-distribution-in-datanodes/ 当写入一个文件到 HDFS 时，它被切分成数据块，块大小...

This document is a starting point for users working with Hadoop Distributed File System (HDFS) either as a part of a Hadoop cluster or as a stand-alone general purpose distributed f...

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪...

这是spark1.5及以前堆内存分配图 下边对上图进行更近一步的标注，红线开始到结尾就是这部分的开始到结尾 spark 默认分配512MB JVM堆内存。出...

Spark从1.6.0版本开始，内存管理模块就发生了改变，旧版本的内存管理模块是实现了StaticMemoryManager类，现在被称为"legacy"。"Legacy"模式默认被...

一、linux部分 请阐述swap分区作用，您认为hadoop集群中的linux是否必须有swap分区？ 答：在Linux中，如果一个进程的内存空间不足，那么，它会...

基于Logstash跑通Kafka还是需要注意很多东西，最重要的就是理解Kafka的原理。 Logstash工作原理 由于Kafka采用解耦的设计思想，并非原始的发布...

Hive是为了解决hadoop中mapreduce编写困难，提供给熟悉sql的人使用的。只要你对SQL有一定的了解，就能通过Hive写出mapreduce的程序，而不需要去学...

一、大数据时代处理数据理念上的三大转变 1、要全体不要抽样（不用随机的方法，而是采用所有的数据） 2、要效率不要精确（接受数据的...

解决的问题 HBase的Write Ahead Log (WAL)提供了一种高并发、持久化的日志保存与回放机制。每一个业务数据的写入操作（PUT / DELETE）执行前，都...

最近在抓取一些社交网站的数据，抓下来的数据用MySql存储。问我为什么用MySql，那自然是入门简单，并且我当时只熟悉MySql。可是，随着数...

了解Hive的都知道Hive有三种使用方式——CLI命令行，HWI（hie web interface）浏览器 以及 Thrift客户端连接方式。 为了体验下HWI模式，特意查询了...

1.引入所需要的Jar包以及hbase-site.xml 这里的hbase-site.xml 我是从hbase下面的conf里面的hbase-site.xml复制下来的 2。下面我们就可以测试了可以先写...

1 ?php 2 3 function demo( $num , $n ){ 4 for ( $i =0; $i $num ; $i ++){ 5 // if($n($i)) 6 if ( call_user_func_array ( $n , array ( $i ))) 7 continue ; 8 echo $i .'br'; 9 } 10 } 11 1...

上周我们这个10人的小团队开发的推荐拉新系统， 日拉新人数已接近4万人。过去几个月这个系统从无到有， 拉新从日增几千稳步增长到日增...

工作中的问题总结： 问题一：scala 之向下转型 引言:假如在复杂的业务逻辑中，变量的类型不能确认，只能给个接口类型，这样数据类型推...

一些开源项目通常会放在 sourceforge.net下面发布。然而，这个网站有时候出现卡顿，并且需要点击几次页面才能下载到自己想要的资源。 这里...

上篇我们讲述了如何使用VMware安装CentOS系统，接下来就看如何安装我们最为熟悉的jdk吧！安装前先看看系统上有没有安装过jdk，输入java -v...

我怎么一步一步追到ODBO了？ mondrian核心api—olap4j—jedox也在用olap4j—ODBO? ODBO是什么呢？ OLE DB for OLAP (Object Linking and Embedding Database for Online...

1 、环境安装 gcc、gcc-c++、make、cmake、svn yum install lzo-devel zlib-devel gcc gcc-c++ make cmake autoconf automake libtool ncurses-devel openssl-devel 2 、 jdk 的安装...

组成计算机的三大件：CPU，内存和IO。 1 总线 总线就是一条或者多条物理上的导线，每个部件都接到这些导线上，同一时刻只能有一个部件...

互联网的推陈出新和日新月异，使得大数据分析时代的蔓延也更加普及和宽广，尤其带来的互联网金融的发展也是让人应接不暇。大数据分...

Beats是elastic公司的一款轻量级数据采集产品，它包含了几个子产品： packetbeat(用于监控网络流量)、 filebeat(用于监听日志数据，可以替代lo...

Kafka是目前非常流行的消息队列中间件，常用于做普通的消息队列、网站的活性数据分析（PV、流量、点击量等）、日志的搜集（对接大数据...

背景 何为hive on spark hive现在已经成为各大公司进行大数据分析处理的宠儿了。由于hive对SQL语法更全面的支持，数据分析人员可以很容易地把...

随着互联网、信息技术以及云计算的高速发展，当今社会已进入了海量数据的时代。 不管是移动通信、电商金融还是物联网等各个领域，每...

经典的关联规则挖掘算法Apriori和FP-growth，在大数据或者海量数据面前，由于候选集和生成的FP树大而无法存储到内存，同时也由于算法本身...

1、部署基本信息说明：1.1、主机信息操作系统：选择CentOS6.7 x86-64版本MEM：64GB，CPU: E5-2630 v3 @ 2.40GHz, DISK:2TB*4(数据节点存储，操作系统除外）...

第一步：环境匹配 1）elasticsearch 2.3.3成功安装部署 2）mysql安装成功，增删改查无误~~。 3）要保证elasticsearch-jdbc 的版本要与 elasticsearch 的版...

久等了，近期公司比较忙，学习的时间都没有啊，到今日才有时间呢！！！好了，下面就跟着笔者开始配置Hadoop集群吧。 hosts文件和SSH免密...

一、安装JDK 1、用户可以在Oracle JDK的官网下载相应版本的JDK，本例以JDK 1.6为例，官网地址为http://www.oracle.com/tech-network/java/javase/downloads/ind...

1 集群系统中的 FP-tree 并行算法（ many for one一个任务 还是 云计算one for many多个任务？） 计算机集群系统利用网络把一组具有高性能的工作...

《原创，仅供学习交流》 在关联规则的研究中，有很多串行的算法，经典的是Apriori算法和FP_growth算法。也有很多并行算法， 如CD( count dis...

RAID技术 Redundant Array of Independent Disks 由独立的磁盘组成的具有冗余特性的阵列。 有两个特性： 阵列：需要很多磁盘来组成 冗余：允许某块...

Hive作为大数据环境下的数据仓库工具，支持基于hadoop以sql的方式执行mapreduce的任务，非常适合对大量的数据进行全量的查询分析。 本文主要...

一直想抽个时间整理下最近的所学，断断续续接触hive也有半个多月了，大体上了解了很多Hive相关的知识。那么，一般对陌生事物的认知都会...

要获取什么样的数据? 我们要获取的数据,是指那些公开的,可以轻易地获取地数据.如果你有完整的数据集,肯定是极好的,但一般都很难通过还...

已经自学了好几个月的大数据了，第一个月里自己通过看书、看视频、网上查资料也把hadoop（1.x、2.x）、spark单机、伪分布式、集群都部署了...

作者对序列化的描述浅显易懂！（https://www.douban.com/note/313096752/） 1. 序列化从头说 在面向对象程序设计中，类是个很重要的概念。所谓类，...

本系列专属github地址:https://github.com/ios122/spark_lagou 前言 我觉得如果动笔,就应该努力地把要说的东西表达清楚.今后一段时间,尝试下系列博客...

概述 前一篇文章,已经介绍了BMR的基础用法,再结合Spark和Scala的文档,我想应该是可以开始你的数据分析之路的.这一篇文章,着重进行一些简单...

1、在安装过程中，出现的 source /usr/local/greenplum-db/greenplum_path.sh 不要写到profile或者./bashrc文件中 因为该句会导致python环境变量的改变，致使...

Hive数据操作 1.向管理表中装载数据 hive没有行级别数据插入、数据更新和删除操作。 采用大量的数据装载操作，或者通过其它方式仅仅将文...

Hbase安装模式介绍 单机模式 1 Hbase不使用HDFS,仅使用本地文件系统 2 ZooKeeper与Hbase运行在同一个JVM中 分布式模式 伪分布式模式 1 所有进程运行...

阅读目录 序 介绍 命名空间 表 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。 文...

内容中字符过多，拒绝显示...

新浪微博：intsmaze刘洋洋哥。 storm框架中的kafkaspout类实现的是BaseRichSpout，它里面已经重写了fail和ack方法，所以我们的bolt必须实现ack机制，...

Hadoop: 大数据里面的公认的解决方案标准 链接推荐：http://www.powerxing.com/install-hadoop/ 第一天 Hadoop的基本概念 伪分布式集群安装 hdfs mapreduce...

Storm基本概念 Storm是一个开源的实时计算系统，它提供了一系列的基本元素用于进行计算：Topology、Stream、Spout、Bolt等等。 在Storm中，一个实...

目录 环境准备 创建hadoop用户 更新apt 配置SSH免密登陆 安装配置Java环境 安装Hadoop Hadoop单机/伪分布配置 单机Hadoop 伪分布Hadoop 启动Hadoop 停止...

当在使用greenplum过程中有不当的操作时，可能会出现segment节点宕掉的情况（比如在greenplum运行的过程中停掉其中几台segment节点的服务器），...

本设计基于以下需求提出 1. 快速接入数据源表(贴源/落地) 2. 无须给单独表开发转换/作业 3. 动态生成数据源连接, 表字段等信息(预先保存在...

上篇文章中介绍了 单变量线性回归 ，为什么说时单变量呢，因为它只有单个特征，其实在很多场景中只有单各特征时远远不够的，当存在多...

阅读目录 序 变量 数据模型操作 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。...

业务描述： 统计从kafka spout中读取的数据条数，以及写入redis的数据的条数，写入hdfs的数据条数，写入kafaka的数据条数。并且每过5秒将数据...

转载地址：http://www.iteye.com/blogs/subjects/zy19982004?page=2 一.Hadoop社区版和发行版 社区版：我们把Apache社区一直开发的Hadoop称为社区版。简单的说...

该文档为实实在在的原创文档，转载请注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html 类型 详细 备注 该文档是群里几个朋友在storm实战中遇...

不同于SQL Server中NULL表示值是未知的（Unknown Value），没有数据类型，但是，在SSIS中，NULL是有数据类型的，要获取某一个NULL值，必须指定数...

前言 LTP语言云平台 不支持离线调用； 支持分词、词性标注、命名实体识别、依存句法分析、语义角色标注； 不支持自定义词表，但是你可...

1、创建节点 CREATE (ee:Person { name: "Emil", from: "Sweden", klout: 99 }); 2、查询节点 MATCH (ee:Person) WHERE ee.name = "Emil" RETURN ee; 3、创建节点的关系 MATCH...

转载地址：http://www.cnblogs.com/stephen-liu74/archive/2012/03/26/2356951.html 一、概述： 在该系列的前几篇博客中，主要讲述的是与Redis数据类型相关的...

1. 确保Java已经正确安装。 查看Java版本：java -version 2. 下载hadoop源程序并解压 到apache的官网下载某一版本的hadoop，不同版本可能会存在较大...

1、maven工程需导入的jar包 !-- neo4j -- dependency groupIdorg.springframework.data/groupId artifactIdspring-data-neo4j/artifactId version4.1.1.RELEASE/version /dependency dep...

使用ES的基本都会使用过head，但是版本升级到5.0后，head插件就不好使了。下面就看看如何在5.0中启动Head插件吧！ Head目前支持5.0了！请不要...

搭建完《hadoop伪分布式平台》后就开始搭建hbase伪分布式平台了。有了hadoop环境，搭建hbase就变得很容易了。 一、Hbase安装 1、从官网下载最...

1.开发背景 在web项目中，经常会需要查询数据导出excel，以前比较常见的就是用poi。使用poi的时候也有两种方式，一种就是直接将集合一次性...

InfluxDB提供类SQL语法，如果熟悉SQL的话会非常容易上手。 本文就为大家介绍一下InfluxDB的基本操作。 InfluxDB提供类SQL语法，如果熟悉SQL的话会...

写这篇文章，是因为最近遇到了mapreduce的二次排序问题。以前的理解不完全正确。首先看一下mapreduce的过程 相信这张图熟悉MR的人都应该见...

1.0修改网关 点击VMware快捷方式，右键打开文件所在位置 - 双击vmnetcfg.exe - VMnet1 host-only -修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255....

继前一篇大体上翻译了Email的Action配置，本篇继续看一下Shell的相关配置。 Shell Action Shell Action可以执行Shell脚本命令，工作流会等到shell完全...

1.存储与文件系统 存储设备 存储设备（常见的是磁盘/硬盘，固态硬盘） 文件系统 文件系统是操作系统用于存储设备或分区上的文件的方法...

cd . // 进入当前目录 cd ~ //进入根目录 pwd //当前路径 echo "my name is makaidong"makaidong //替换内容到文件 echo "my name is makaidong"makaidong //追加内容到...

1.先安装：VMWare10软件 VMware Workstation是一款功能强大的虚拟机软件，可以使你在一台机器上同时运行二个或更多Windows、DOS、LINUX系统，并进行...

1，hadoop fs –fs [local | file system URI]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的...

...

Sqoop的使用应该是Oozie里面最常用的了，因为很多BI数据分析都是基于业务数据库来做的，因此需要把mysql或者oracle的数据导入到hdfs中再利用...

作者：方圆 链接：https://www.zhihu.com/question/20010554/answer/15863274 来源：知乎 著作权归作者所有，转载请联系作者获得授权。 一、 PostgreSQL 的稳...

摘要： Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询...

1.createStream会使用 Receiver；而createDirectStream不会,数据会通过driver接收。 2.createStream使用 Receiver 源源不断的接收数据并把数据交给 ReceiverSup...

统计某一特定网站的某个时辰访客人数 所用版本：hadoop2.6.5 数据样式如下： 111.111.111.111 - - [16/Dec/2012:05:32:50 -0500] "GET / HTTP/1.1" 200 14791 "-" ...

相关背景： 1.统计学 统计学贯穿数据分析全过程：采集、设计、处理、分析 2.心理学 准确探测用户心理 3.社会学 对人的社会性做出合理解...

MapReduce应用场景 前一阵子参加炼数成金的MapReduce培训，培训中的作业例子比较有代表性，用于解释问题再好不过了。有一本国外的有关MR的...

环境：ambari2.3,centos7,sqoop1.4.6 问题描述：通过ambari安装了sqoop,又添加了oracle驱动配置，如下： 保存配置后，重启sqoop报错： http://hdp01:8080/r...

目录： 1、集群部署介绍 1.1 Hadoop简介 1.2 环境说明 1.3 环境配置 1.4 所需软件 2、SSH无密码验证配置 2.1 SSH基本原理和用法 2.2 配置Master无密码...

在hadoop生态越来越完善的背景下，集群多用户租用的场景变得越来越普遍，多用户任务下的资源调度就显得十分关键了。比如，一个公司拥...

Hadoop概述 Apache lucene: 全球第一个开源的全文检索引擎工具包 完整的查询引擎和搜索引擎 部分文本分析引擎 开发人员在此基础建立完整的全...

在大数据的当下，各种spark和hadoop的框架层出不穷。各种高端的计算框架，分布式任务如乱花般迷眼。你是否有这种困惑...

第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的...

安装配置 系统：Ubuntu14.04 java：1.7.0_75 相关资料 官网 下载地址 官网文档 安装 我们需要关闭掉防火墙，命令如下： sudo ufw disable 下载2.6.5的...

1.添加phoneix驱动 (1).点击Tools---Driver Manager… (2).新建一个驱动，名称为phoenix（名称随意），选择phoenix的客户端驱动，驱动类如图所示 phone...

基本全是参考http://blog.csdn.net/a600423444/article/details/8944601redis的使用大家都很熟悉，可能除了watch 锁，pipeline，订阅发布用的少点，不过网上也...

在上一篇：InfluxDB学习之InfluxDB数据保留策略（Retention Policies）中，我们介绍了 InfluxDB的数据保留策略，数据超过保存策略里指定的时间之后...

Exercise 1：Linear Regression---实现一个线性回归 关于如何实现一个线性回归，请参考：http://www.cnblogs.com/hapjin/p/6079012.html Exercise 2：Logistic Regre...

我们开发程序的时候，好多人都喜欢用sysout输出内容来查看运行情况。但是在MR程序里写了之后，却不知道去哪里查找，可以参考这篇文章。...

装好ubuntu系统后的第一见事就是替换自带的更新源，原因是系统自带的源有些在中国访问不了，可以访问的速度又特别慢。幸好国内的一些...

一、研方案的作用 研究方案可用来指导我们的数据采集和分析工作，一案在手，成竹在胸。 二、如何才能写一份优秀的研究方案 一个假设...

hadoop 是什么？ 1. 适合 海量数据 的 分布式 存储 与 计算 平台。 海量： 是指 1T 以上数据。 分布式: 任务分配到多态虚拟机上进行计算。 ...

Ambari server安装完毕后，都能正确显示各种信息。运行了几天后，发现无法显示内存，CPU等信息。 查找日志发现有错误，日志路径：/var/log...

1、关于虚拟机的复制 新建一台虚拟机，系统为 CentOS7 ，再克隆两台，组成一个三台机器的小集群。正常情况下一般需要五台机器（一个 N...

主从结构 主节点，只有一个: namenode 从节点，有很多个: datanodes 在版本1中，主节点只有一个，在 版本2中主节点有两个。 namenode 负责(管理...

我们在数据分析之前需要进行数据处理、数据录入并把数据清洗干净，做好数据的加工和描述工作。 【参考文献】《数据分析：企业的贤内...

数据是大家的原料，在设计方案、撰写报告之前，备料很关键。常言道巧妇难做无米之炊，我们今天就来聊聊如何采集数据吧。 一、数据特...

环境：Phoenix:4.4,win7系统 问题：Phoenix在查询hbase时，报“系统找不到指定路径”。 解决： 请参见 https://distcp.quora.com/Connect-and-query-Apache-Pho...

flume配置： #DBFileDBFile.sources = sources1 DBFile.sinks = sinks1 DBFile.channels = channels1 # DBFile-DB-Source DBFile.sources.sources1.type = spooldirDBFile.sources.sources1.s...

LifeCycleState : IDLE, START, STOP, ERROR [Source] : org.apache.flume.Source 继承LifeCycleAware{stop() + start() + getLifeCycleState()} + NamedComponent{getName() + setName()} 产生...

公司最近在研究多条件组合查询方案，Google的一位技术专家Sam和我们讨论了几个备选方案。 Sam的信： 我做了进一步研究，目前有这么几种做...

注: 出于职业要求, 本文中所有数字均被人为修改过, 并非真实数字, 很抱歉也不能贴出源代码 目标: 个险客户特征分析 建模过程: 输入: 从现...

一．环境说明 虚拟机：vmware 11 操作系统：Ubuntu 16.04 Hadoop版本：2.7.2 Zookeeper版本：3.4.9 二．节点部署说明 三．Hosts 增加配置 sudo gedit /etc/h...

一些例子，所用版本为hadoop 2.6.5 1、统计字数 数据格式如下（单词，频数，以tab分开）： A 100B 97C 98 A 98 1 package com.mr.test; 2 3 import java.io.IO...

一、分析目的 为企业战略决策、投资决策、营销决策提供依据 二、分析思路 按时间维度 按空间维度，如企业成功关键因素的分析思路 按综...

因子分解机(Factorization Machine, 简称FM)是一种不错的CTR预估模型，也是我们现在在使用的广告点击率预估模型，比起著名的Logistic Regression, F...

1、数据样式 写入之前，需要整理以下数据的格式，之后将数据保存到hdfs中，本例使用的样式如下（用tab分开）： row1Nrow2Mrow3Brow4Vrow5Nrow6M...

ambari版本 ：2.4.2 （不过各版本安装过程没啥差异） 目录： 为什么要用Ambari 概念概述 版本信息 原理简介 安装 创建集群 创建集群 手动修改...

面向EDA（事件驱动架构）的方式来设计你的消息 AMQP routing key的设计 RabbitMQ cluster搭建 Mirror queue policy设置 两个不错的RabbitMQ plugin 大型应用插...

工作中发现在oozie中使用sqoop与在shell中直接调度sqoop性能上有很大的差异。为了更深入的探索其中的缘由，开始了oozie的源码分析之路。今天...

1、put/checkAndPut 1 package com.testdata; 2 3 import java.io.IOException; 4 import org.apache.hadoop.conf.Configuration; 5 import org.apache.hadoop.hbase.HBaseConfiguration; 6 imp...

试想一下，你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么...

在之前的文章中介绍了如何直接在Ubuntu中安装Hadoop。但是对于64位的Ubuntu来说，官方给出的Hadoop包是32位的，运行时会得到警告： WARN util.N...

1、环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 master作为active主机，data1作为standby备用机，三台机器均作为数据节点，yarn资源管理器在master上开启...

数据分析师就像厨师一样。厨师的工作有5步：下单、备料、切配、烹饪、打荷。数据分析师的工作也有5步。呈现数据就好像打荷。厨师在把...

原文地址：http://kafka.apache.org/documentation.html ############################# System ##############################唯一标识在集群中的ID，要求是正数。broker...

HBase定义 HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 ...

在Ubuntu下安装与设置Hadoop的主要过程。 1. 创建Hadoop用户 创建一个用户，用户名为hadoop，在home下创建该用户的主目录，就不详细介绍了。 ...

大数据离线部分 1、HDFS 1：HDFS 的架构部分及工作原理 NameNode ：负责管理元素据，将信息保存在内存中 DataNode ：保存数据，以块的形式保存...

公司的CDH早就装好了，一直想自己装一个玩玩，最近组了台电脑，笔记本就淘汰下来了，加上之前的，一共3台，就在X宝上买了CPU和内存升级...

一、HBase的特点是什么1.HBase一个分布式的基于列式存储的数据库,基于hadoop的hdfs存储，zookeeper进行管理。2.HBase适合存储半结构化或非结构化...

算法原理 K近邻是机器学习中常见的分类方法之间，也是相对最简单的一种分类方法，属于监督学习范畴。其实K近邻并没有显式的学习过程...

spark2.1出来了，想玩玩就搭了个原生的apache集群，但在standalone模式下没有任何问题，基于apache hadoop 2.7.3使用spark on yarn一直报这个错。(Java...

本篇源码基于赵星对Spark 1.3.1解析进行整理。 话说，我不认为我这下文源码的排版很好，不能适应的还是看总结吧。 虽然1.3.1有点老了，但...

阅读目录 序 创建collection 模拟程序 示例下载 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，...

Redis 简介 Redis 是用 C 语言开发的一个开源的高性能键值对（ key-value ）数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求...

终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启...

conda升级默认官网地址，速度会特别慢，现在我们指定一个当前可用的镜像，步骤如下： 1.执行命令，生成.condarc文件 conda config --add channel...

阅读目录 序 介绍 Observer操作 示例下载 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合...

Spark有几种部署的模式，单机版、集群版等等，平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试...

本教程讲述在单机环境下搭建Hadoop伪分布式集群环境，帮助初学者方便学习Hadoop相关知识。 首先安装Hadoop之前需要准备安装环境。 安装Ce...

gzip 压缩（解压）文件或目录，压缩文件后缀为gz bzip2 压缩（解压）文件或目录，压缩文件后缀为bz2 tar 文件、目录打（解）包 1.gzip命令 命...

在前一篇文章中，我们已经搭建好了Hadoop的群集，接下来，我们就是需要基于这个Hadoop群集，搭建Spark的群集。由于前面已经做了大量的工作...

一、Spark简介： 以下是百度百科对Spark的介绍： Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用...

MongoDB提供了备份和恢复的功能，分别是MongoDB下载目录下的mongodump.exe和mongorestore.exe文件 1.备份数据使用下面的命令： mongodump -h dbhost -d dbn...

1、相关环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 hbase1.2.4 本篇文章仅涉及hbase集群的搭建，关于hadoop与zookeeper的相关部署参见上篇文章http://www...

没用过IDEA工具，听说跟Eclipse差不多，sbt在Idea其实就等于maven在Eclipse。Spark运行在JVM中，所以要在Idea下运行spark， 就先要安装JDK 1.8+ 然后加...

在最开始阶段，我们进行初始数据的收集工作，根据不同的业务场景，可能会涉及到的一些技术领域：分散日志收集技术，诸如Scribe、Flum...

Spark是现在应用最广泛的分布式计算框架，oozie支持在它的调度中执行spark。在我的日常工作中，一部分工作就是基于oozie维护好每天的spark离...

Spark简介 视频教程： 1、优酷 2、YouTube 简介： Spark是加州大学伯克利分校AMP实验室，开发的通用内存并行计算框架。Spark在2013年6月进入Apa...

本文属于《InfluxDB系列教程》文章系列，该系列共包括以下 15 部分： InfluxDB学习之InfluxDB的安装和简介 InfluxDB学习之InfluxDB的基本概念 Influ...

Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hiv...

Observer协处理器通常在一个特定的事件（诸如 Get 或 Put ）之前或之后发生，相当于RDBMS中的触发器。 Endpoint协处理器则类似于RDBMS中的存储过...

3：用tensorflow搭个神经网络出来 为什么用tensorflow呢，应为谷歌是亲爹啊，虽然有些人说caffe更适合图像啊mxnet效率更高等等，但爸爸就是爸爸...

这是一本书的名字，叫做【Hadoop大数据分析与挖掘实战】，我从2017.1开始学习 软件版本为Centos6.4 64bit，VMware，Hadoop2.6.0，JDK1.7. 但是这本书的...

当你开始编写 Apache Spark 代码或者浏览公开的 API 的时候，你会遇到各种各样术语，比如 transformation ， action ， RDD( resilient distributed dataset)...

pyspark 包介绍 子包 pyspark.sql module pyspark.streaming module pyspark.ml package pyspark.mllib package 内容 PySpark是针对Spark的Python API。根据网上提供的资料，...

在刚刚毕业的时候，当时的领导就问了一个问题——个性化推荐与精准营销的区别，当时朦朦胧胧回答不出。现在想想，他们可以说是角度...

关于结巴分词 ElasticSearch 插件： https://github.com/huaban/elasticsearch-analysis-jieba 该插件由huaban开发。支持Elastic Search 版本=2.3.5。 结巴分词分析器...

这是一份贝叶斯机器学习路线图, 正在不断更新中. 路线图由简短的介绍配以相应的学习资源组成, 读者不一定要按顺序学习, 可以直接定位到...

elasticsearch-5.2.1安装方法 1. 安装java 下载安装java jdk 1.8 以上 配置java环境变量 右击【我的电脑】---【属性】-----【高级系统设置】---【环境变...

玩转 Ceph 的正确姿势 本文先介绍 Ceph， 然后会聊到一些正确使用 Ceph 的姿势；在集群规模小的时候，Ceph 怎么玩都没问题；但集群大了（到...

1.开发工具：SpagoBIStudio_5.1，操作界面和使用方法和eclipse没差安装参考：http://www.cnblogs.com/starlet/p/4778334.html 2.创建项目和空白报表2.1.file-ne...

本文属于《InfluxDB系列教程》文章系列，该系列共包括以下 16 部分： InfluxDB学习之InfluxDB的安装和简介 InfluxDB学习之InfluxDB的基本概念 Influ...

--创建外部表 CREATE EXTERNAL TABLE my_report( last_update string, col_a string) PARTITIONED BY ( par_dt string)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' location '/user/hiv...

杭州湖畔网络技术有限公司是一家专业提供SaaS化电商ERP服务的创业公司，主要用户群体为经营淘宝、天猫、京东等主流电商平台、自建商城...

键值对的RDD操作与基本RDD操作一样，只是操作的元素由基本类型改为二元组。 概述 键值对RDD是Spark操作中最常用的RDD，它是很多程序的构成...

采用伪分布模式安装和设置CDH，前提是已经安装了Java和SSH。 1. 下载hadoop-2.6.0-cdh5.9.0，复制到/opt/下，再解压； 2. 进入/opt/hadoop-2.6.0-cdh5.9.0...

1.打开"终端窗口"，输入"sudo apt-get update"--回车--"输入当前登录用户的管理员密码"--回车,就可以了。 2.打开"终端窗口"，输入"sudo apt-get insta...

今天发福利啦！发福利啦！发福利啦！ 企业的各种数据整合到PowerBI显示，浏览器，移动端显示关键指标。 一个很好的PowerBI解决方案的图！...

简单介绍我们公司，有些朋友还不太了解。我们公司叫巨杉数据库，核心产品是SequoiaDB巨杉数据库。是我们的团队完全从零开始研发的。巨...

1。到apache官网下载Thrift源码, http://thrift.apache.org/download，我这里下载的是thrift-0.10.0 2。到apach官网下载thrift.exe, http://thrift.apache.org/download, 这...

1.准备三台虚拟机 2.hadoop+hive+spark＋java软件包 传送门：Hadoop官网 Hive官网 Spark官网 一、 修改主机名,hosts文件 主机名修改 hostnamectl set-hostna...

Select EXTRACT(year from cast(joindate as timestamp)) as Year, EXTRACT(month from cast(joindate as timestamp)) as Month, EXTRACT(day from cast(joindate as timestamp)) asDay, ...... ...

Hbas预分区 在系统中向hbase中插入数据时，常常通过设置region的预分区来防止大数据量插入的热点问题，提高数据插入的效率，同时可以减少...

HDFS本身并没有提供用户名、组等的创建和管理，在客户端操作Hadoop时，Hadoop自动识别执行命令所在的进程的用户名和用户组，然后检查是否...

《ElasticSearch查询》目录导航： ElasticSearch查询 第一篇：搜索API ElasticSearch查询 第二篇：文档更新 ElasticSearch查询 第三篇：词条查询 ElasticS...

1.上传解压文件 文件：hbase-1.0.1.1-bin.tar 2.更改配置文件 在hbase-env.sh中， export JAVA_HOME=/home/lang/software/jdk1.8.0_121 export HBASE_MANAGES_ZK=true 在hbas...

Hive分区的概念与传统关系型数据库分区不同。 传统数据库的分区方式：就oracle而言，分区独立存在于段里，里面存储真实的数据，在数据进...

认识敦奴 敦奴集团创立于1987年，主营服装、酒店、地产，总部位于中国皮都-海宁。浙江敦奴联合实业股份有限公司（以下简称“敦奴”）...

Windows下面调试程序比在Linux下面调试方便一些，于是用Windows下的Eclipse远程连接Hadoop。 1.下载相应版本的hadoop-eclipse-plugin插件，复制到eclip...

使用Sqoop远程连接MySQL导入数据到HBase数据库： sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://hzhiServer:3306/myssh?autoReconnect=true" --table ta...

Eclipse调用HDFS API上传文件时出现了如下错误： Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs: // master:9000/user/Administrator, expect...

Hive的列除了支持基本的数据类型外，还支持使用Struct、Map和Array三种集合数据类型。 假设某表有如下一行，我们用JSON格式来表示其数据结构...

集群共三台CentOS虚拟机，一个Matser，主机名为master；三个Worker，主机名分别为master、slave03、slave04。前提是Hadoop和Zookeeper已经安装并且开始运...

DAX/PowerBI系列 - 库存总价值（Inventory Value） 难度： ★ ★ ☆☆☆ （2星） 适用： ★ ★ ☆☆☆ （2星） 概况： 有多少货（库存）当然重要（...

前言： 大数据的火热，导致大数据挖掘分析工作也异常火热，成为很多小伙伴的职业选择，如果你想学会如何分析数据以及挖掘数据，那么...

一、Apache kylin的基础环境 由于Apache kylin上的OLAP（wiki:OLAP）是构建在hadoop生态环境上的，所以hadoop环境的稳定性和健壮性对kylin的稳定运行至...

移动到hadoop文件目录下 NameNode启动命令:sbin/hadoop-daemon.sh start namenode DataNode启动命令:sbin/hadoop-daemon.sh start datanode 过程描述: NameNode启动后，会...

ElasticSearch 是一个基于 Lucene 的高度可扩展的开源全文搜索和分析引擎。它能够做到可以快速、实时地存储、搜索和分析大量数据。它通常作...

背景 yarn默认使用的是最简单的FIFO调度器，即一个default队列，所有用户共享，分配资源也是先到先得，没有优先级之分。有时一两个任务就...

常见问题及处理 mysql版本，必须是MYSQL5.1。 查询办法mysqladmin version 在建立hive数据库的时候，最好是:create database hive; oozie的数据库，同样：...

收录待用，修改转载已取得腾讯云授权 前言 前面总结的几篇spark踩坑博文中，我总结了自己在使用spark过程当中踩过的一些坑和经验。我们...

近些年，大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，所以，这里分享几个大数据脑图，希望可以让你清楚明白...

本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建，对自己是个总结和整理，也能方便新人学习使用。 一、基础...

1.概述 最近有同学和网友私信我，问我MongoDB方面的问题；这里我整理一篇博客来赘述下MongoDB供大家学习参考，博客的目录内容如下： 基本...

Redis官网：https://redis.io 参考书籍：《Redis实战-红丸出品》 参考网址：http://redisdoc.com/index.html 1、启动Redis服务 [root@localhost ~]# redis-server 注：...

副本的放置对HDFS可靠性和性能至关重要。 优化副本放置HDFS有别于其他大多数分布式文件系统。 这是一个功能,需要大量的调优和经验。 基...

这是ElasticSearch 2.4 版本系列的第六篇： ElasticSearch入门 第一篇：Windows下安装ElasticSearch ElasticSearch入门 第二篇：集群配置 ElasticSearch入门 第三...

在使用Spark时经常需要把数据落入HBase中，如果使用普通的Java API，写入会速度很慢。还好Spark提供了Bulk写入方式的接口。那么Bulk写入与普通...

首先，map的输入数据默认一个一个的键值对，键就是每一行首字母的偏移量，值就是每一行的值了。 然后每一个输入的键值对都会用我们定...

在Eclipse下新建一个Map/Reduce项目，并将以下jar添加到Build path： 程序代码： package thathbase; import java.io.IOException; import java.util.Random; import org....

mapTask并行度的决定机制 一个job的map阶段并行度 由客户端在提交 job 时决定 ，而客户端对map阶段并行度的规划的 基本逻辑 为：将待处理数据...

--------均是在Windows操作系统下，不是之前的Linux操作系统------- 1、Maven的介绍 Maven 项目对象模型(POM)，可以通过一小段描述信息来管理项目的...

摘要:mapreduce中执行reduce(KEYIN key, IterableVALUEIN values, Context context)，调用一次reduce方法，迭代value集合时，发现key的值也是在不断变化的，这是...

最近因为手抖，在Spark中给自己挖了一个数据倾斜的坑。为了解决这个问题，顺便研究了下Spark分区器的原理，趁着周末加班总结一下~ 先说...

MapReduce是Hadoop2.x的一个计算框架，利用分治的思想，将一个计算量很大的作业分给很多个任务，每个任务完成其中的一小部分，然后再将结...

前面我们讨论的关联规则都是用支持度和自信度来评价的，如果一个规则的自信度高，我们就说它是一条强规则，但是自信度和支持度有时...

title: hadoopRedHatLab2 date: 2017-04-20 10:41:02 tags: hadoop, RedHat, wordcount --- 本文中所有x xxx均为未知 须根据你得具体版本号来决定 创建用户 groupadd ...

在之前 ElasticSearch 搭建好之后，我们通过 elasticsearch-header 插件在查看 ES 服务的时候，发现 cluster-health 显示的是 YELLOW。 Why？ 首先，我们需...

在NameNode的${dfs.namenode.name.dir}/current目录下，有这样几个文件： 在数据库系统中，log是用于记录写操作的日志的，并使用该Log进行备份、恢复...

在梯度下降算法理论篇中，曾经感叹推导过程如此苍白，如此期待仿真来给我更加直观的感觉。当我昨晚Octave仿真后，那种成就感着实难以...

导读 ： 随着大数据概念的火热，啤酒与尿布的故事广为人知。我们如何发现买啤酒的人往往也会买尿布这一规律？数据挖掘中的用于挖掘频...

R + Hive = RHive 支持原创：http://blog.fens.me/nosql-r-hive/ R利剑NoSQL系列文章 之 Hive Hive介绍 Hive安装 RHive安装 RHive函数库 RHive基本使用操作 1. Hive介...

近期Office365用户升级后解决了在Power Pivot中输入中文的问题，但是同时也带来了一个新的问题就是表属性窗口默认为“ 查询编辑器 ”模式，...

一、 DFS：distributied file system 是一种允许文件通过网络在多台主机上风向的文件系统，可让多机器上的多用户分享文件和存储空间 二、HDFS的...

学习Hadoop，两个东西肯定是绕不过，MapReduce和HDFS，上一篇博客介绍了MapReduce的处理流程，这一篇博客就来学习一下HDFS。 HDFS是一个分布式的...

郑昀 创建于2017/6/29 最后更新于2017/6/30 关键词：大数据，Spark，SparkSQL，HBase，HDFS，工作流，任务，Flow，Job，监控报警 提纲： 为什么要大数...

1.算法（数学）原理重要不重要？ 不重要。因为不懂数学，你也可以把数据扔进Sas，选择一个名字看起来有逼格的算法，然后CPU煎个鸡蛋，...

跟大家的交流是我的动力。 :) Update 2017/Oct/06：更新了生成日期为度的脚本-#"Changed Type" Update 2017/Sep/21 ：来信的一些童鞋都用事实表（Fact T...

在本节中将通过一个预测房屋价格的实例来讲解利用线性回归预测房屋价格，以及在tensorflow中如何实现 Tensorflow 线性回归预测房价实例 1....

神经网络理论 BP神经网络（Back Propagation Neural Network） 为多层前馈神经网络用得比较广泛，该神经网络先通过前向传播取得估计值，后再使用...

Redis哨兵集群 Redis-redis哨兵集群 | 辛修灿Blog 1、Sentinel 哨兵 Sentinel（哨兵）是Redis 的高可用性解决方案：由一个或多个Sentinel 实例 组成的S...

SparkSQL和DataFrame SparkSQL简介 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作...

hive-version2.1.1 DDL操作 Create/Drop/Alter/Use Database 创建数据库 1 // 官方指导 2 CREATE ( DATABASE | SCHEMA ) [ IF NOT EXISTS ] database_name 3 [ COMMENT database_comm...

图示池化层（前向传播） 池化层其实和卷积层有点相似，有个类似卷积核的窗口按照固定的步长在移动，每个窗口做一定的操作，按照这个...

1、zookeeper操作相关命令： 2、hdfs操作相关命令： 3、yarn操作相关命令： 4、hive相关操作命令： 5、hbase操作相关命令：...

方法一: a.第一步:在job中加载两个文件所在的位置 FileInputFormat.setInputPaths(job, new Path[] { new Path("hdfs://192.168.9.13:8020/gradeMarking"), new Path("hdfs:/...

总目录地址：AI 系列 总目录 背景 目前AI 处于风口浪尖，作为 公司的CTO，也作为自己的技术专研，开始了AI之旅，在朋友圈中也咨询 一些大...

一、Redis的诞生 Redis创建者，出生于西西里岛的意大利人（antirez）发明的，个人网站，http://invece.org。早年是系统管理员，2004-2006 年做嵌入...

各位小伙伴，上次讲了《深入浅出Redis》和《Redis安装和实际应用》本篇文章将为大家解密redis的持久化和主从复制机制。 R edis持久化 Redis...

本文是学习时的自我总结，用于日后温习。如有错误还望谅解，不吝赐教 一、安装方式（内嵌模式，本地模式远程模式） 安装环境以及前提...

http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html Introduction Hadoop分布式文件系统被设计运行在普通的硬件上。它和目前已经存...

http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html Apache Hadoop YARN YARN的主要功能包括：资源管理和任务调度及监控，它们各自都是独...

上次我们讲过了《HBase简介》，点击阅读有助于更好地理解本文。本文讲述的是HBase数据模型。 1、ROW KEY 决定一行数据 按照字典顺序排序的...

阅读目录 序 导入数据 查询 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。 文章是...

在LinkedIn的 Kafka 生态系统 Apache Kafka是一个高度可扩展的消息传递系统，作为LinkedIn的中央数据管道起着至关重要的作用。 Kafka 是在2010年在...

学习大数据没有零基础入门，首先你要成为一名工程师 在技术论坛中或知乎上，看到近几万的朋友都在疑惑，学习Java应该选择什么发展方向...

1 修改三台虚拟机的/ect/hosts文件 [hadoop@hadoop01 ~]$ cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.loc...

引言 在上一篇 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 和之前的大数据学习系列之二 ----- HBase环境搭建(单机) 中成功搭建...

如果要使用Python来连接Presto，就需要相关的驱动包。 目前发现有两个驱动包，分别是： pyhive : https://github.com/dropbox/PyHive presto-python-client :...

...

python中的axis究竟是如何定义的呢？他们究竟代表是DataFrame的行还是列？ 直接上代码 people=DataFrame(np.random.randn(5,5), columns=[ 'a', 'b', 'c', 'd', '...

上一篇《MapReduce多种join实现实例分析（一）》，大家可以点击回顾该篇文章。本文是MapReduce系列第二篇。 一、在Map端进行连接 使用场景：...

引言 在上一篇中大数据学习系列之二 ----- HBase环境搭建(单机) 中，成功搭建了Hadoop+HBase的环境，本文则主要讲述使用Java 对HBase的一些操作。...

https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-SimpleExampleUseCases 解压，并配置环境变量 在conf目录下新建一个hive-site.xml文件，配...

1.Hive安装与配置 Hive官网：https://hive.apache.org/ 1. 安装文件下载 从Apache官网下载安装文件http://mirror.bit.edu.cn/apache/hive/ （apache-hive-2.3.2-bin.tar...

spark2.2在使用的时候使用的是SparkSession，这个SparkSession创建的时候很明显的使用了创建者模式。通过观察源代码，简单的模拟了下，可以当作...

在学习Hbase的shell命令，之前先得了解如何进入hbase的shell命令行，通过执行如下简单的命令回车后进入hbase的shell命令行界面 hbase shell 进入...

Spark Streaming处于Spark生态技术栈中，可以和Spark Core和Spark SQL无缝整合；而Storm相对来说比较单一； （一）概述 Spark Streaming Spark Streaming是Sp...

1、Hive概念： hive是数据仓库，由解释器、优化器和编译器组成；运行时，元数据存储在关系型数据库中。 2、Hive的架构： （1）用户接口主...

http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/Federation.html Background HDFS有两个主要的层： Namespace 由目录、文件和块组成 它支持所有的...

多用户写入，任意修改文件 HDFS 中的文件可能只有一个 writer ，而且写操作总是将数据添加在文件的末尾。它不支持具有多个写人者的操作，...

DAX/PowerBI系列 -参数表(Parameter Table) 度量值模板 难度： ★ ★ ☆☆☆ （2星） 适用范围： ★ ★ ★ ☆ ☆ （3星） 概况： 当你有多个度量值都...

iPhone以绝对的优势排名第一，毕竟距离iPhone8的发布越来越近了，各大媒体都在争相报道iPhone8的最新消息，就算很多消费者不买，但也会去关...

Tensorflow开发环境配置及其基本概念 1.1. 安装Tensorflow开发环境 1.1.1. 安装pycharm 1.1.2. 安装python3.6 1.1.3. 安装Tensorflow 1.2. Tensorflow基本概念 1.2....

1. 基本查询： 构造查询数据。 db.test.findOne() { "_id" : ObjectId("4fd58ecbb9ac507e96276f1a"), "name" : "stephen", "age" : 35, "genda" : "male", "email" : "stephen@hotma...

Spark是一个用来实现 快速而通用 的集群计算的平台。 Spark项目包含多个紧密集成的组件。Spark的核心是一个对由很多计算任务组成的，运行...

1、使用Sparkconf配置Spark 对Spark进行性能调优，通常就是修改Spark应用的运行时配置选项。 Spark中最主要的配置机制通过SparkConf类对Spark进行配...

运行hadoop环境时，常常会出现这种提示 WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable 意思是无法...

1 #!/bin/ bash 2 ##----------------------------------------------------------------------------------------- 3 ##-- 程序名称：抽取ORACLE表数据到HIVE 4 ##-- 功能描述: 每...

~~~这是一篇有点长的文章，希望不会令你昏昏欲睡~~~ 本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来...

键值对RDD通常用来进行聚合计算，Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为pair RDD。pair RDD提供了并行操作各个键或...

FastDFS 是用 c 语言编写的一款开源的分布式文件系统，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使...

Spark对很多种文件格式的读取和保存方式都很简单。Spark会根据文件扩展名选择对应的处理方式。 Spark支持的一些常见文件格式如下： 文本文...

Spark简介安装和简单例子 Spark简介 Spark是一种快速、通用、可扩展的大数据分析引擎，目前，Spark生态系统已经发展成为一个包含多个子项目...

原创，转发请注明出处。 MapReduce是hadoop这只大象的核心，Hadoop 中，数据处理核心就是 MapReduce 程序设计模型。一个Map/Reduce 作业（job） 通常...

SparkRDD简介/常用算子/依赖/缓存 RDD简介 RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可...

如何使用Spark ALS实现协同过滤...

图示全连接层 如上图所示，该全链接层输入n * 4，输出为n * 2，n为batch 该层有两个参数W和B，W为系数，B为偏置项 该层的函数为F(x) = W*x + B，...

背景 上一篇介绍了在阿里云上部署ES（www.cnblogs.com/wenBlog/p/7451696.html），本文将主要介绍ELK的可视化工具Kibana的部署和使用。主要分为三个步...

Spark Struntured Streaming是Spark 2.1.0版本后新增加的流计算引擎，本博将通过几篇博文详细介绍这个框架。这篇是介绍Spark Structured Streaming的基本...

将所学知识整理一下，备忘。 1. Hdfs (v 2.7.3) 1.1.启动集群 sbin/start-dfs. sh 注：这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以...

Pentaho Data Integration (Kettle) 一套基于Java的开源ETL工具集，是商务智能套件Pentaho的一部分。 社区主页：http://community.pentaho.com/projects/data-integ...

1.查看hadoop版本 [hadoop@ltt1 sbin]$ hadoop versionHadoop 2.6 . 0 -cdh5. 12.0 Subversion http: // github.com/cloudera/hadoop -r dba647c5a8bc5e09b572d76a8d29481c78d1a0dd Compiled...

自然语言处理在很多APP中都有实际应用的场景，比如在电商软件中，客服问答系统、评论情感分析、带有语义识别的搜索、商品自动分类、...

1. 结构 1.1 概述 Structured Streaming组件滑动窗口功能由三个参数决定其功能：窗口时间、滑动步长和触发时间. 窗口时间：是指确定数据操作的...

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。 当刚涉足数据挖掘...

四周昏暗，是一家小城的酒肆，屋外正是大雪纷飞。 林葱抖了抖外套，进的店里来，叫了两斤熟牛肉，一壶烧酒。 “小二，最近什么工作有...

版权声明：本文为博主原创文章，未经博主允许不得转载 首先，先引出两点来展开下面的话题。(1)map阶段的排序是在hash之后，写入磁盘之前...

Spark的一大好处就是可以通过增加机器数量并使用集群模式运行，来扩展计算能力。Spark可以在各种各样的集群管理器（Hadoop YARN , Apache Mes...

这是Hadoop学习全程记录第1篇，在这篇里我将介绍一下如何在Linux下安装Hadoop1.x。 先说明一下我的开发环境： 虚拟机：VMware8.0； 操作系统：...

创建于2017/7/23 最后更新于2017/7/25 关键词：大数据，监控大屏，实时大屏，大屏，数屏，React，Redux， 提纲： 自助式报表、魔盒和数屏的产生...

创建于2017/9/7 最后更新于2017/9/16 关键词：大数据，HBase，数据开放，即席查询，数据授权，HDFS，Zeppelin，Kylin， 提纲： 解决什么场景 即席查...

Alter Table/Partition/Column Alter Table Rename Table Alter Table Properties Alter Table Comment Add SerDe Properties Alter Table Storage Properties Additional Alter Table Statement...

一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的...

Spark读写HBase示例 1、HBase shell查看表结构 hbase(main): 002 : 0 desc ' SDAS_Person ' Table SDAS_Person is ENABLED SDAS_Person COLUMN FAMILIES DESCRIPTION {NAME = ' cf0 ' ...

1. CUDA Toolkit的安装 到https://developer.nvidia.com/cuda-gpus查询GPU支持的CUDA版本： 到https://developer.nvidia.com/cuda-downloads，根据操作系统选择下载相应...

刚刚大学毕业,接触大数据有一年的时间了,把自己的一些学习笔记分享给大家,希望同热爱大数据的伙伴们一起学习,成长! 资料准备: Hadoop-2...

Phoenix简介及安装部署使用...

创建三台虚拟机，IP地址为：192.168.169.101，192.168.169.102，192.168.169.103 将192.168.169.102为namenode,192.168.169.101,192.168.169.103为datanode 关闭防火墙，安...

前两天，由于系统的架构设计的原因，想通过Java直接访问Hive数据库，对于我这个Java以及Hadoop平台的菜鸟来说，的确是困难重重，不过，还...

本篇文章主要介绍了"Spring+Redis集成+关系型数据库持久化"，主要涉及到Spring+Redis集成+关系型数据库持久化方面的内容，对于Spring+Redis集成...

Spark中的IsNotNull函数怎么用 在这里看到的这个函数，就是判断是否为空，但是开始不知道怎么用，后来找到了，要在View中用，也就是SparkS...

运行环境 centos 5.6 hadoop hive sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具。 上海尚学堂...

hive 2.1.1 DML操作 将文件加载到hive表 // 官方指导 LOAD DATA [ LOCAL ] INPATH ' filepath ' [ OVERWRITE ] INTO TABLE tablename [ PARTITION (partcol1=val1, partcol2=val2 ....

说明：文章所有内容均截选自实验楼教程【Pandas 使用教程】，想要查看教程完整内容，点击教程即可~ 前言： Pandas 是非常著名的开源数据处...

1 例子jar位置 [hadoop@hadoop02 mapreduce]$ pwd /hadoop/hadoop-2.8.2/share/hadoop/mapreduce [hadoop@hadoop02 mapreduce]$ ls -lrt总用量 5084drwxr-xr-x 2 hadoop hadoop 4096 10月...

1、NN宕掉切不过去先看zkfc的log 引起原因是dfs.ha.fencing.ssh.private-key-files的配置路径配错造成以致无法找到公钥 2、dfs.namenode.shared.edits.dir为J...

HiveServer2是经常与beeline一起使用，可以用jdbc客户端远程连接，一般用于生产环境。 在提供传统客服端的功能之外，还提供其他功能。 Beel...

随着大数据应用越来越广泛，应用的行业也越来越低，每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值...

联机事务处理(OLTP) OLTP也称实时系统(Real Time System)，支持事务快速响应和大并发，这类系统典型的有ATM机(Automated Teller Machine)系统、自动售票...

1、Flume概念 flume是分布式日志收集系统，将各个服务器的数据收集起来并发送到指定地方。 Flume是Cloudera提供的一个高可用、高可靠、分布式...

上次已经讲了《Hive数据仓库之快速入门一》不记得的小伙伴可以点击回顾一下，接下来我们再讲Hive数据仓库之快速入门二 DQL hive中的 orde...

聚类 在了解谱聚类之前，首先需要知道聚类，聚类通俗的讲就是将一大堆没有标签的数据根据相似度分为很多簇（就是一坨坨的），将相似...

本例中udf来自《hive编程指南》其中13章自定义函数中一个例子。 按照步骤，第一步，建立一个项目，创建GenericUDFNvl 类。 /** * 不能接受第一...

用户提交 MapReduce 作业后，JobClient 会调用 InputFormat 的 getSplit方法 生成 InputSplit 的信息。 一个 MapReduce 任务可以有多个 Split，其用于分割用户...

每次看到马路对面摩托罗拉的大牌子，都想起谷歌125亿美元收购摩托罗拉移动，后来又以29亿美元卖给联想的事情。谷歌所做的决策都比较考...

hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误 起因 使用hive做join查询，a表十几万数据，b表1kw多点数据，结...

Python进行KMeans聚类是比较简单的，首先需要import numpy，从sklearn.cluster中import KMeans模块： import numpy as np from sklearn.cluster import KMeans 然后读取...

在我们生产环境中，熟悉服务器配置是必不可少的，以下是本人整理的一些常用的服务器配置查看命令：################### cpu性能查看 #######...

1、创建项目：File--new--Project； 2、选择maven，SDK选择自己的Java安装路径； 3、这个随意了，写个比较有意义的就行，然后就按照图片操作。...

我们在（人工智能抢80万工人的饭碗，却增加了350万个新岗位？！）文章中概述了人工智能带来的便利之处，那么越来越多的人对人工智能趋...

在执行一条HIVE语句的时候报了以下错误，重新检查了所有步骤,重启所有服务，发现没有问题。 但发现一个有趣的事情 1， select sno,sname,se...

最近有个需求，需要整合所有店铺的数据做一个离线式分析系统，曾经都是按照店铺分库分表来给各自商家通过highchart多维度展示自家的店...

CK21190-Mycat分布式架构之Mycat分布式架构实战解析 Mycat是国内第一个卖电子书的开源软件，参与的作者们平生第一次分到了一笔开源收入的酬...

执行hadoop任务遇到的问题： Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hive/warehouse/rec_new2.db/user_session/.hive-staging_hive_201...

首先声明：未经本人同意，请勿转载，谢谢！ 本人使用自己编译的开源版本的greenplum数据库用于学习，版本为PostgreSQL 8.3.23 (Greenplum Databas...

引言 在上一篇中搭建了Hadoop的单机环境，这一篇则搭建HBase的单机环境 环境准备 1，服务器选择 阿里云服务器:入门型(按量付费) 操作系统...

引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境，在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了...

之前我们讲了以下Redis的知识技术四部曲，点击回顾： 《Redis的sentinel（哨兵）机制》、 《解密Redis的持久化和主从复制机制》、 《Redis安装...

一、概述 对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使...

本文是学习时的自我总结，用于日后温习。如有错误还望谅解，不吝赐教。 此处附上一篇个人认为写的比较好的博客，转自枝叶飞扬的博文...

本文是学习时的自我总结，用于日后温习。如有错误还望谅解，不吝赐教 此处附上部分内容所出博客：http://blog.csdn.net/ymh198816/article/detail...

引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 ： http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase，并且测试成功了...

配置管理概述 Hive从install-dir/conf/hive-default.xml中读取它的默认配置 Hive配置目录的位置可以通过设置HIVE_CONF_DIR环境变量的值来改变 配置变量...

Mapper Mapper的maps阶段将输入键值对经过计算得到中间结果键值对，框架会将中间结果按照key进行分组，然后传递给reducer以决定最终的输出。...

大数据简介 大数据的概念 Volume(数据容量)、Variety(数据类型)、Viscosity(价值密度)、Velocity(速度)、Veracity(真实性) 大数据的性质 非结构性、不...

引言 在之前的大数据学习系列中，搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试。其实要说的话，我开始学习大数据的时候，搭建的就是集群...

1 、 安装IntelliJ IDEA IDEA 全称 IntelliJ IDEA，是java语言开发的集成环境，IntelliJ在业界被公认为最好的java开发工具之一，尤其在智能代码助手、...

Spark 基础 Spark 是一种快速 . 通用 . 可扩展的大数据分析引擎 , 是基于内存计算的大数据并行计算框架 , 提高在大数据环境下数据处理的实时...

普通模式下 u 撤销 ctrl + r 反撤销...

hadoop完全分布式模式搭建和hive安装 简介 Hadoop是用来处理大数据集合的分布式存储计算基础架构。可以使用一种简单的编程模式，通过多台...

...

What Is Apache Hadoop? Hadoop是一个可靠的、可扩展的、分布式计算的开源软件。 Hadoop是一个分布式处理大数据的框架。它被设计成从一台到上千...

http://hadoop.apache.org/docs/r2.9.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html Overview 一个MapReduce作业通常会将数据输入切分成独立的...

一、编译环境 Linux version 3.10.0-327.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.3 20140911 (Red Hat 4.8.3-9) (GCC) ) greenplum 5.3.0 二、编译过程 2.1、...

参考 http://hbase.apache.org/book.html#_architecture Architecture 65. Overview 65.1. NoSQL? HBase是一种"NoSQL"数据库。“NoSQL”一般指的是非关系型数据库，我们...

此篇说明对应的kettle版本是6.1，实际使用时7.x应该也是一样的。 一、 kettle开发流程（规范步骤，防止出错） (一) Kettle设置检查 资源库连接...

近期阅读了一些深度学习在文本分类中的应用相关论文（ 论文笔记 )，同时也参加了CCF 大数据与计算智能大赛（BDCI）2017的一个文本分类问...

参考 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 1、下载并解压 2、设置环境变量 3、修改hadoop-env.sh 4、修改core-s...

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到...

用户对物品的评分矩阵 × 物品相似矩阵 = 推荐列表 构建物品相似度矩阵的时候可以通过计算两个物品的余弦相似度得出，于是需要构建每个...

大数据：Hadoop入门 一：什么是大数据 什么是大数据： （1.）大数据是指在一定时间内无法用常规软件对其内容进行抓取，管理和处理的数据...

hadoop是基于磁盘的，它的运算结果保存在磁盘当中；而spark的运算是基于内存的。因此spark的运算速度是 hadoop的100倍；即使在磁盘当中运算，...

Kettle 使用心得汇总系列一 一、kettle 实现的功能： kettle 可以实现从不同数据源（ excel 、数据库、文本文件等）获取数据，然后将数据进行...

1.应用场景和特点 hbase = 当数据量非常大的时候才会体现出hbase的优势 特点： 海量数据存储 = 单表可有上百亿行。上百万的列。也就是对列...

前言 在搭建大数据Hadoop相关的环境时候，遇到很多了很多错误。我是个喜欢做笔记的人，这些错误基本都记载，并且将解决办法也写上了。...

（本人初次接触spark可能有些地方理解的不够到位，希望各位读者多多指正，对于不恰当的地方也会进行改进） 1、RDD定义：是弹性分布式数...

hadoop的核心组件：hdfs（分布式文件系统）、mapreduce（分布式计算框架）、Hive（基于hadoop的数据仓库）、HBase（分布式列存数据库）、Zookee...

各位小伙伴，又到了本期分享大数据技术的时间，本次给大伙带来的是Elasticsearch这个技术，闲话不多聊，我们开始进入正题。 一、什么是...

大数据时代，海量数据分析就像吃饭一样，成为了我们每天的工作。为了更好的为公司提供运营决策，各种抖机灵甚至异想天开的想法都会...

idea中使用scala运行spark出现： Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class 查看build.sbt: name := "ScalaSBT"versio...

前言 在之前的大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建，但是在使用hive进行数据查询的时候会...

HBase简介： HBase---Hadoop DataBase，是一个高可靠、高性能、面向列、可存储、实时读写的分布式数据库 利用HBase HDFS作为其文件存储系统 HBase数...

下面是这本书序言中的大部分内容 ，本人的英文水平有限 ， 有理解不到位的地方还请大家指教 ， 这算是自己对这本书的读书笔记和总结...

Storm安装 1、启动 zookeeper 集群 2、上传解压 storm 包 3、进入解压包 ， 配置 conf 目录下的 storm.yaml 文件 a) 这里配置 zookeeper 节点，可以用 ip...

HDFS的安全模式 安全模式是HDFS的一种工作状态，处于安全模式的状态下，只向客户端提供文件的只读视图，不接受对命名空间的修改；同时...

三台hadoop集群，分别是master、slave1和slave2。下面是这三台机器的软件分布： master ：NameNode、ZK、HiveMetaSotre、HiveServer2、SentryServer slave1 ：Da...

HDFS 架构简述 Hadoop分布式文件系统（HDFS）是一个分布式的文件系统，运行在廉价的硬件上。它与现有的分布式文件系统有很多相似之处。然...

以Spark-Client模式运行，Spark-Submit时出现了下面的错误： User: hadoop Name: Spark Pi Application Type: SPARK Application Tags: YarnApplicationState: FAILED FinalStat...

1、安装vmware Workstation VMware现在已经到了 12Pro的版本了，百度下载一个最新的版本就可以了，秘钥也是很简单的，一搜就出来了。 1、双击安...

出现这个错误可能有两种情况，Jar文件没有传上去，或者Build Path里面包含的Jar文件和Spark的运行环境有冲突。 对于第一种情况，需要在Spa...

用scikit-learn估计值分类主要是为数据挖掘搭建通用的框架。有了这个框架之后，增加了算法的泛化性，减少了数据挖掘的复杂性。 用scikit...

Installating and Initializing a Greenplum Database System... 1 安装说明 1.1 环境说明 名称 版本 下载地址 虚拟机 Oracle VirtualBox 4.3.10 http://www.virtualbox.org 操...

本文主要参考 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 主要内容是对该文章的翻译，部分内容参考其他的网络文章。...

Spark一共有5种运行模式：Local，Standalone，Yarn-Cluster，Yarn-Client和Mesos。 1. Local Local模式即单机模式，如果在命令语句中不加任何配置，则默认...

上篇：用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群（上）-快速上手Docker 上篇介绍了快速上手Docker部分，下面接着介...

3. Yarn-Cluster Yarn是一种统一资源管理机制，可以在上面运行多种计算框架。Spark on Yarn模式分为两种：Yarn-Cluster和Yarn-Client，前者Driver运行在...

2016年5月25日上午，由贵州省政府举办的以"大数据开启智能时代"为主题的中国大数据产业峰会在贵阳开幕，国务院总理李克强发表主旨演讲...

1. 安装前的准备 1.1 硬件要求 无特殊需求（根据Hadoop各个组件需求及实际情况，一般建议单个集群的机器数量在3台及以上：1台Master结点，...

加载方式：com加载项加载方法： 点击Excel界面【文件】→【选项】→【加载项】→【COM加载项】→【转到】 Excel2013加载PowerView Excel216PowerQ...

5. 图的转换操作 图的转换操作主要有以下的方法： (1) Graph.mapVertices()：对图的顶点进行转换，返回一张新图； (2) Graph.mapEdges()：对图的边进...

一般namenode只格式化一次，重新格式化不仅会导致之前的数据都不可用，而且datanode也会无法启动。在datanode日志中会有类似如下的报错信息...

1. 首先安装Scala插件，File-Settings-Plugins，搜索出Scla插件，点击Install安装； 2. File-New Project-maven，新建一个Maven项目，填写GroupId和ArtifactId；...

Spark GraphX是一个分布式的图处理框架。社交网络中，用户与用户之间会存在错综复杂的联系，如微信、QQ、微博的用户之间的好友、关注等关...

SQLite单表4亿订单，大数据测试 SQLite 作为嵌入式数据库的翘楚，广受欢迎！ 新生命团队自2010年以来，投入大量精力对 SQLite 进行学习研究，...

『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群 1.基本设定和软件版本 主机名 ip 对应角色 master 192.168.56.4 NameNode slave1 19...

阅读目录 序 介绍 安装 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。 文章是哥...

Scala提供了三种字符串插值方式：s，f和raw。 1. s字符串插值器 简单的说就是解析字符串变量。 val name = "Tom" println(s "His name is $name" ) println...

这一个月，从对机器学习充满好奇与畏惧，到对各种算法稍有理解以及围绕推荐场景的编码实践，算是对机器学习有了一个入门的体验。但...

第一 hive.exec.mode.local.auto=true 是否启动本地mr模式 hive.exec.mode.local.auto.input.files.max=4 input files的数量，默认是4个 hive.exec.mode.local.auto.inputbyte...

7. 图的聚合操作 图的聚合操作主要的方法有： (1)Graph.mapReduceTriplets()：该方法有一个mapFunc和一个reduceFunc，mapFunc对图中的每一个EdgeTriplet进行...

iptables当找到匹配的规则时，就会执行相应的动作，而不会向下继续匹配。 因为ssh端口开放的规则在all规则之后，所以永远都不会匹配到，...

K-Means算法是一种基于距离的聚类算法，采用迭代的方法，计算出K个聚类中心，把若干个点聚成K类。 MLlib实现K-Means算法的原理是，运行多个...

Kafka是一种分布式发布订阅消息系统。 Kafka有三种模式： （1）单节点单Broker，在一台机器上运行一个Kafka实例； （2）单节点多Broker，在一台...

HBase shell commands As told in HBase introduction, HBase provides Extensible jruby-based (JIRB) shell as a feature to execute some commands(each command represents one functionalit...

1.Aggregate Aggregate即聚合操作。直接上代码： import org.apache.spark.{SparkConf, SparkContext} object AggregateTest { def main(args:Array[String]) = { // 设置运行环境...

这篇主要记录一下如何实现对数据库的并行运算来节省代码运行时间。语言是Python，其他语言思路一样。 前言 一共23w条数据，是之前通过自...

本文主要参考 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/RackAwareness.html hadoop组件是机栈敏感(译注rack,机栈，可以简单理解为节点...

有些hive安装文档提到了hdfs dfs -mkdir ，也就是说hdfs也是可以用的，但在2.8.0中已经不那么处理了，之所以还可以使用，是为了向下兼容. 本文...

下载 apache-flume-1.7.0-bin.tar.gz，用 tar -zxvf 解压，在/etc/profile文件中增加设置： export FLUME_HOME=/opt/apache-flume-1.7.0-binexport PATH=$PATH:$FLUME_HOME/bin 修...

zxid (ZooKeeper Transaction Id，每次请求对应一个唯一的zxid，如果zxid a zxid b ，则可以保证a一定发生在b之前) zookeeper采用了递增的事务id号（zxid）...

线性回归算法，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。 1. 梯度下降法 线性回...

本文翻译自：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html 基于2.8.0文档 1.目的 本文可以作为以下人员的入门指引：使...

Time in ZooKeeper ZooKeeper跟踪时间的多种方式 1） Zxid ：每个ZooKeeper状态变化将会接收到一个zxid（ZooKeeper Transaction Id）的时间戳。ZooKeeper通过该...

zookeeper 1) cp /vagrant/zookeeper-3.5.2-alpha.tar.gz ~ 2) cd zookeeper-3.5.2-alpha 3) mkdir data 4) mkdir datalog 5) cd data 6) touch myid 7) echo 1 myid 8) more myid 9) cd .. 10) ...

本文翻译自 http://hadoop.apache.org/docs/r2.8.0/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html 和http://hadoop.apache.org/docs/r2.8.0/hadoop-yarn/hadoop-yarn-site/Reserva...

环境：Centos6.9+jdk+hadoop 1.下载hadoop的tar包，这里以hadoop2.6.5版本为例，下载地址https://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz...

郑昀 创建于2017/6/29 最后更新于2017/6/30 关键词：大数据，Spark，SparkSQL，HBase，HDFS，工作流，任务，Flow，Job，监控报警 提纲： 为什么要大数...

此文翻译自 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html 译注：实际部署中，没有安全控制的hadoop的，最好不要...

本文主要翻译自 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SecureMode.html 译注：之所以不翻译为安全模式，是因为namenode启动的时...

安装hadoop的步骤比较繁琐，但是并不难。 在CentOS上安装Hadoop2.7 1. 安装 CentOS，注：图形界面并无必要 2. 在CentOS里设置静态IP，手工编辑如下...

本文介绍hdfs的存储策略 内容译自：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.html#Get_Storage_Policy 译注：存储策略是在...

市面上有一些初学者的误解，他们拿spark和hadoop比较时就会说，Spark是内存计算，内存计算是spark的特性。请问在计算机领域，mysql,redis,ssh框...

Spark简介： Spark是UC Berkeley AMP lab开发的一个集群计算的框架，类似于Hadoop，但有很多的区别。最大的优化是让计算任务的中间结果可以存储...

神经网络(neural network)是深度学习中一种非常重要的模型，关于神经网络更详细的介绍呢，这里就不介绍了，可以自行搜索了解。文章主要整...

1. SVM基本知识 SVM(Support Vector Machine)是一个类分类器，能够将不同类的样本在样本空间中进行分隔，分隔使用的面叫做分隔超平面。 比如对于...

随着2017年大数据各种应用的发展，大数据的价值得以充分的发挥，大数据已在企业、社会各个层面都成为重要的手段，数据已成为新的企业...

HADOOP 背景介绍 1.1 Hadoop产生背景 HADOOP 最早起源于 Nutch 。 Nutch 的设计目标是构建一个大型的全网搜索引擎，包括网页抓...

1.Alternating Least Square ALS(Alternating Least Square)，交替最小二乘法。在机器学习中，特指使用最小二乘法的一种协同推荐算法。如下图所示，u表...

HDFS 1 HDFS是什么？ 首先，它是一个文件系统 ，用于存储文件，通过统一的命名空间 ——目录树来定位文件 其次，它是分布式的 ，由很多服...

LVS服务原理以及搭建（理论+干货） 版权声明：本文为yunshuxueyuan原创文章 如需转载请标明出处： https://my.oschina.net/yunshuxueyuan/blog QQ技术交流...

HDFS是Hadoop应用程序使用的主要分布式存储。 HDFS集群主要由管理文件系统元数据的NameNode和存储实际数据的DataNodes组成， HDFS架构图描述了...

逻辑回归本质上也是一种线性回归，和普通线性回归不同的是，普通线性回归特征到结果输出的是连续值，而逻辑回归增加了一个函数g(z)，...

在正式环境中，搭建高可靠(ha)的系统是必须的。 例如oralce的rac,apache集群，windows服务器集群 本文不再赘言ha的重要性。 本文主要是对 http...

...

package com.asin.hdp.inverted; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import or...

1、明确技术与业务的关系 （1）知识和发明来自实践和生产的实际需要，OSI的7层模型再美、再学院化也没有干过TCP/IP； （2）切莫强求技术...

刚发现的一个Redis不错的学习平台： http://lib.csdn.net/article/redis/23966?knId=992 window平台Redis安装 作者： lg831229 window平台Redis安装 redis windows安装...

1. 决策树基本知识 决策树就是通过一系列规则对数据进行分类的一种算法，可以分为分类树和回归树两类，分类树处理离散变量的，回归树...

本人翻译自： http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/ServiceLevelAuth.html 译注：相对于kerberos等等而言，这个显得简单得多，但...

一、概述 根据《深入理解Spark：核心思想与源码分析》一书，结合最新的spark源代码master分支进行源码阅读，对新版本的代码加上自己的一些...

本文翻译翻译自http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/ClusterSetup.html 具体的实践，请参阅： 搭建两个节点的简单hdfs集群。...

KMenas算法比较简单，不详细介绍了，直接上代码。 import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark....

本文翻译自http://hadoop.apache.org/docs/r2.8.0/hadoop-yarn/hadoop-yarn-site/YARN.html 译注：原文说得有些过于简单的，并且有些混乱。 yarn由两个部分的守...

1、hbase的介绍（自行百度hbase，比我总结的全面具体） HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，...

导读： 分类问题是机器学习应用中的常见问题，而二分类问题是其中的典型，例如垃圾邮件的识别。本文基于UCI机器学习数据库中的银行营...

MapReduce工作机制——Word Count实例（一） MapReduce的思想是分布式计算，也就是分而治之，并行计算提高速度。 编程思想 首先，要将数据抽象...

Hive Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能。 1.1为什么使用 Hive 为什...

Redis的复制功能是完全建立在之前我们讨论过的基于内存快照的持久化策略基础上的，也就是说无论你的持久化策略选择的是什么，只要用到...

本文章由尚学堂旗下云数学院周老师做内容指导，薛同学编辑，如需转载，请标明出处。 QQ技术交流群：299142667 前言 使用mangrep查看grep的帮...

1.算法（数学）原理重要不重要？ 不重要。因为不懂数学，你也可以把数据扔进Sas，选择一个名字看起来有逼格的算法，然后CPU煎个鸡蛋，...

关联规则挖掘最典型的例子是购物篮分析，通过分析可以知道哪些商品经常被一起购买，从而可以改进商品货架的布局。 1. 基本概念 首先，...

1.Mapreduce是什么? Mapreduce是一个 分布式运算程序的编程框架 ，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用...

1. hbase 简介 1.1. 什么是 hbase HBASE 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBASE 技术可在廉价 PC Server 上搭建起大...

Hive Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能。 1.1为什么使用 Hive 为什...

1. hbase 简介 1.1. 什么是 hbase HBASE 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBASE 技术可在廉价 PC Server 上搭建起大...

在一个完整的大数据处理系统中，除了 hdfs+mapreduce+hive 组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的...

Sqoop 将mysql数据导入hbase的血与泪（整整搞了大半天） 版权声明：本文为yunshuxueyuan原创文章。 如需转载请标明出处： https://my.oschina.net/yun...

协同过滤（Collaborative Filtering，CF）算法是一种常用的推荐算法，它的思想就是找出相似的用户或产品，向用户推荐相似的物品，或者把物品...

概览 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的...

使用 hadoop mapreduce分析mongodb数据 （现在很多互联网爬虫将数据存入 mongdb中，所以研究了一下，写此文档） 版权声明：本文为yunshuxueyuan原创...

Hbase单机安装部署 http://blogxinxiucan.sh1.newtouch.com/2017/07/27/Hbase单机安装部署/ 下载Hbase Hbase官网下载地址 http://www.apache.org/dyn/closer.cgi/hbase/ 解压...

0.规划 两个节点： ip 部署的程序 备注 192.168.56.2/bigdata.lzf namenode,datanode,NodeManager，hive,presto,mysql,hive-metastore,presto-cli 主节点 192.168.56.3/bigdat...

前言 在安装后hadoop之后，接下来需要安装的就是Spark。 scala-2.11.7下载与安装 具体步骤参见上一篇博文 Spark下载 为了方便，我直接是进入到...

1. 神经网络基础知识 1.1 神经元 神经网络（Neural Net）是由大量的处理单元相互连接形成的网络。神经元是神经网络的最小单元，神经网络由...

关于Apache Spark 1 Why Apache Spark 2 关于Apache Spark 3 如何安装Apache Spark 4 Apache Spark的工作原理 5 spark弹性分布式数据集 6 RDD持久性 7 spark共享变量...

Spark Streaming 1 Why Apache Spark 2 关于Apache Spark 3 如何安装Apache Spark 4 Apache Spark的工作原理 5 spark弹性分布式数据集 6 RDD持久性 7 spark共享变量 8...

参考文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html Hadoop createSnapshot和deleteSnapshot命令,请戳一下链接： createS...

Hadoop之HDFS 版权声明：本文为yunshuxueyuan原创文章。 如需转载请标明出处：http://www.cnblogs.com/sxt-zkys/ QQ技术交流群：299142667 HDFS介绍 HDFS（Had...

Apache Spark的工作原理 1 Why Apache Spark 2 关于Apache Spark 3 如何安装Apache Spark 4 Apache Spark的工作原理 5 spark弹性分布式数据集 6 RDD持久性 7 spark共享...