搜索内容

包含标签:hadoop 的文章
  • ​(三)hadoop之hive的搭建1
    研发管理

    ​(三)hadoop之hive的搭建1

    下载 访问官方网站https://hive.apache.org/ 点击downloads 点击Download a release now! 点击https://dlcdn.apache.org/hive/ 选择最新的稳定版 ……
    admin 2024-02-09
  • 2024-02-01(Hive)
    物联网

    2024-02-01(Hive)

    1.我们通过忘Hive中执行SQL语句,Hive会帮我们将SQL语句翻译成MapReduce在底层去做分布式的计算。 2.Hive看似处理的是mysql的表,但实际上处理的是HDFS中的文……
    admin 2024-02-03
  • 大数据开发之Hive(压缩和存储)
    5G

    大数据开发之Hive(压缩和存储)

    第 9 章:压缩和存储 Hive不会强制要求将数据转换成特定的格式才能使用。利用Hadoop的InputFormat API可以从不同数据源读取数据,使用OutputFormat API可以……
    admin 2024-01-15
  • Hadoop之mapreduce参数大全-6
    5G

    Hadoop之mapreduce参数大全-6

    126.指定 Map 任务运行的节点标签表达式 mapreduce.map.node-label-expression 是 Hadoop MapReduce 框架中的一个配置属性,用于指定 Map 任务运行的节点标……
    admin 2024-01-14
  • 通过Web的方式访问HDFS
    前端

    通过Web的方式访问HDFS

    要通过web访问HDFS(Hadoop分布式文件系统),你可以使用Hadoop提供的Web界面来管理和监控HDFS。 默认情况下,Hadoop提供了以下两个主要的Web界面: HDFS N……
    admin 2024-01-09
  • Spark与Hadoop的关系和区别
    5G

    Spark与Hadoop的关系和区别

    在大数据领域,Spark和Hadoop是两个备受欢迎的分布式数据处理框架,它们在处理大规模数据时都具有重要作用。本文将深入探讨Spark与Hadoop之间的关系和区别,……
    admin 2023-12-30
  • 解决问题: java.net.ConnectException: Connection refused: connect
    Java

    解决问题: java.net.ConnectException: Connection refused: connect

    问题描述: 使用hive连接三方工具datagrip的时候出现错误: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop:10000: java.net.Connect……
    admin 2023-12-29
  • EMR集群迁移自建Hadoop(元数据及HDFS数据)
    5G

    EMR集群迁移自建Hadoop(元数据及HDFS数据)

    1.背景 老集群采用的腾讯emr集群,使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题,因此决定采用自建hadoop集群,需要将emr的元数据和hdfs基础数据……
    admin 2023-12-28
  • 【Hive】在博客系统中如何应用 Hive 进行离线数据管理
    5G

    【Hive】在博客系统中如何应用 Hive 进行离线数据管理

    简介: 博客系统作为一个信息发布平台,处理的数据量通常很大。为了更高效地管理和分析这些数据,离线数据处理变得非常重要。Hive 是一个开源的数据仓库基础设……
    admin 2023-12-26
  • 【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口?!
    研发管理

    【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口?!

    【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口?!😎 前言🙌 【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口?! 查看自己的配置文件……
    admin 2023-12-25