前沿刚刚学习Spark，知道大神很多，我只是想记录一些自己学习中遇到的问题，不要嫌弃我的问题很幼稚，只要能帮助哪怕一个人我都很欣慰了。1.完整代码示例及结果 2.spark生成一个RDD这里我们生成的RDD是一个ListRDDval listR...

以下三种方式可以选择有一种，但就经测试，最靠谱的方式是第三种结合第一种使用。 1、通过配置文件 #log4j.rootLogger=WARN,consolelog4j.rootLogger=DEBUG, stdout# consolelog4j....

使用IntelliJ+Maven来配置我们的Spark和其所依赖的库，配置文件如下：<dependencies> <dependency> <groupId>org.apache.spark</group...

一、增加 1、lpush [lpush key valus...]  类似于压栈操作，将元素放入头部 127.0.0.1:6379> lpush plist ch0 ch1 ch2 (integer) 3 127.0.0.1:...

HMSET key field value [field value …] 同时将多个 field-value (域-值)对设置到哈希表 key 中。 此命令会覆盖哈希表中已存在的域。 如果 ke...

查看表操作 SHOW TABLES SHOW TABLES 'part.*'; SHOW TABLES '.*ext'; SHOW PARTITIONS part_t1; DESCRIBE t1; SELECT id FROM t1 WHERE ...

1、内部表建表时指定表中字段分隔符create table t_order(id int,name string…)row format delimitedfields terminated by ‘,’; 2、外部表的建立create exte...

一： hive 的简介 1.1 hive的简介 1. 在hadoop处理结构化数据的数据仓库 不是： 关系型数据库 不是OLTP 实时查询和行级别的更新 1.2 hive 的特点 hive 存储数据结构（schema）在数据库中，处理的数...

       在实际开发项目中，常常有几种环境，一般情况下最少有三种环境：开发、测试、正式,各个环境之间的参数也各不相同,于是在环境切换时我们需要修改为各环境需要的参数,就此我们可以通过maven的配置在切...

Dependency Scope 在POM 4中，<dependency>中还引入了<scope>，它主要管理依赖的部署。目前<scope>可以使用5个值： * compile，缺省值，适用...

HIve总结： 首先要学习Hive，第一步是了解Hive，Hive是基于Hadoop的一个数据仓库，可以将结构化的数据文件映射为一张表，并提供类sql查询功能，Hive底层将sql语句转化为mapreduce任务运行。相对于用java代码编写ma...

参加过PMP考试的朋友对PDU想必不会陌生，PDU就是单位发展单元，属于一种量化考核积分。PDU用于考核和激励PMP持证者学习最新最前沿的项目管理知识。PDU的积攒如今也非常方便，利用互联网可直接进行积攒。有朋友问：PMP的PDU攒够60个后还能...

1.概述 Flink 1.1.0 版本已经在官方发布了，官方博客于 2016-08-08 更新了 Flink 1.1.0 的变动。在这 Flink 版本的发布，添加了 SQL 语法这一特性。这对于业务场景复杂，依赖于 SQL 来分析统计数据，...

原文链接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/api_concepts.html#dataset-and-datastream 基本的API概念 Flin...

Flink简介及使用 一、Flink概述 官网：https://flink.apache.org/ mapreduce-->maxcompute HBase-->部门 quickBI DataV Hive-->高德地图 ...

Flink Sql总体架构   execution flow Table API 和 SQL 如何创建calcite logical Plan （parsing）   对比两者 两者略有不同 SQL：S...