搜索内容

包含标签:hadoop 的文章
  • Sqoop
    研发管理

    Sqoop

    前言         最近专业 NoSQL 的课程作业涉及到关系型数据库数据导入到非关系型数据库,其实我们也可以通过Java代码,通过JDBC将关系型数据库中的数据读取出……
    admin 2023-10-07
  • Hive【Hive(六)窗口函数】
    研发管理

    Hive【Hive(六)窗口函数】

    窗口函数(window functions) 概述 定义         窗口函数能够为每行数据划分 一个窗口,然后对窗口范围内的数据进行计算,最后将计算结果返回给该行数据。 ……
    admin 2023-10-06
  • Hadoop2复安装过程详细步骤
    研发管理

    Hadoop2复安装过程详细步骤

    1、在vmware中更改了虚拟机的网络类型,--->NAT方式,(虚拟交换机的ip可以从vmvare的edit-->vertual network editor看到) 2、根据这个交换机(网关)……
    admin 2023-10-06
  • Hive SQL初级练习(30题)
    研发管理

    Hive SQL初级练习(30题)

    前言 Hive 的重要性不必多说,离线批处理的王者,Hive 用来做数据分析,SQL 基础必须十分牢固。 环境准备 建表语句 这里建4张表,下面的练习题都用这些数据。……
    admin 2023-10-06
  • 【Hadoop】HDFS高可用与高扩展原理分析(HA架构与Federation机制)
    架构

    【Hadoop】HDFS高可用与高扩展原理分析(HA架构与Federation机制)

    文章目录 一、HDFS的高可用性(HA架构) 二、HDFS的高扩展性(Federation机制) 三、HA架构 + Federation机制 一、HDFS的高可用性(HA架构)        为……
    admin 2023-10-06
  • hadoop2.4.1伪分布式搭建
    物联网

    hadoop2.4.1伪分布式搭建

    1.准备Linux环境     1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.……
    admin 2023-10-03
  • 3台机器配置hadoop集群_Hadoop+Hbase 分布式集群架构
    架构

    3台机器配置hadoop集群_Hadoop+Hbase 分布式集群架构

    安装搭建Hadoop 1、 配置说明 本次集群搭建共三台机器,具体说明下: 主机名 IP 说明 nn01 192.168.1.51 DataNode、NodeManager、Resource……
    admin 2023-10-03
  • 大数据之Hive(三)
    物联网

    大数据之Hive(三)

    分区表 概念和常用操作 将一个大表的数据按照业务需要分散存储到多个目录,每个目录称为该表的一个分区。一般来说是按照日期来作为分区的标准。在查询时可……
    admin 2023-09-27
  • (初学者强烈推荐)Ubuntu 配置hadoop 超详细教程(全过程)
    运维

    (初学者强烈推荐)Ubuntu 配置hadoop 超详细教程(全过程)

    引言         本文的教程仅为个人的操作经验所写,每个人下载的版本不一样,所以会出现不同的情况异常等,如有问题可询问博主或百度查找解决方法。 本机的配……
    admin 2023-09-27
  • Spark的基本概念与架构
    架构

    Spark的基本概念与架构

    一、Spark简介 Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更……
    admin 2023-09-19