云计算
-
Hadoop完全分布式搭建
hadoop完全分布式搭建 1. 准备工作 1.1. 软件版本 1.2. 集群规划 2. 环境搭建 1.修改主机名 2. 关闭防火墙 3.修改hosts文件 4.配置ssh,无密码登录 5…… -
flume三种保存到kakfa的方式(文件,目录,端口)
flume采集文件保存到kafka 创建文件flumeexec.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source组件:r1 a1.sources.r1.type = …… -
Hive(HQL)数据库
Hive的特点 Hive与SQL语句相像 能将SQL语句转变成MapReduce任务来执行 Hive要依赖于yarn 只能用于结构化 Hive只能处理离线数据,处理大型数据 Hive在集群…… -
Hadoop使用MapReduce求ncdc气象数据中的最低温度
一、下载、解压、合并与上传数据 在进行数据处理前首先需要获得所需要的数据,首先下载数据 cd /home/hadoop mkdir temp #创建文件夹用于存放数据 cd temp s…… -
Hive:分区原因、创建分区、静态分区 、动态分区
文章目录 1、为什么要分区? 2、如何分区以及细节 3、创建分区 4、静态分区 5、动态分区 ① Hive 数据管理、内外表、安装模式操作 ② Hive:用SQL对数…… -
大数据之路——数据同步
三、数据技术篇—— 数据同步 3.1 数据同步基础 @ 3.1.1 直连同步 3.1.2 数据文件同步 3.1.3 数据库日志解析同步 3.2 数据仓库同步方式 3.2.1 批量数…… -
Hive:用SQL对数据进行操作,导入数据、清洗脏数据、统计数据订单等等
文章目录 1、准备数据 2、了解数据 3、将数据导入hive 4、如何清洗第一行的脏数据? 4.1 方式一:shell命令 4.2 方式二:HQL (hive sql) 4.3 方式三:…… -
-
【每日SQL打卡】DAY 5丨员工奖金【难度简单】
活动介绍: 「数据仓库技术交流群」已经正式启动每日SQL打卡,帮助大家扎实基础,努力工作之余,别忘了自我提升。 欢迎报名和邀请小伙伴参与,一个人可能走…… -
2021第六届数维杯A题新冠肺炎背景下的港口资源配置优化策略
2021第六届数维杯A题新冠肺炎背景下的港口资源配置优化策略 思路正在写,请耐心等待 A题思路已出 请查看: 点击跳转 背景下的港口资源配置优化策略 新冠肺炎 ……