hbase与hadoop版本兼容问题,强烈谴责hadoop生态圈耦合性

查看master启动日志如下:

2020-08-25 14:43:09,043 WARN [RS-EventLoopGroup-1-1] concurrent.DefaultPromise: An exception was thrown by org.apache.hadoop.hbase.io.asyncfs.FanOutOneBlockAsyncDFSOutputHelper$4.operationComplete()
java.lang.IllegalArgumentException: object is not an instance of declaring class

进到hbase shell中执行命令会失败,报错:

ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not run yet.

启动hbase时jps查看master和regionserver进程都启动成功,但是打开webui界面查看时,页面中显示 backup master以及不显示regionserver情况,下面能看到master进程一直显示正在启动中,Initialize ServerManager and schedule SCP for crash servers。

而且查看zookeeper节点明显感觉hbase节点目录结构残缺,异常,丢失regionserver等信息。

原因就是hbase2.3.x不兼容hadoop 3.3.x,虽然hbase官网上4.Basic Prerequisities目录中显示兼容,但实际情况是不兼容的。截至到2021.12.22日hbase2.3和2.4都不兼容hadoop 3.3。最后我选择了hbase2.3和hadoop3.2,它俩兼容。集群搭建过程不变,hbase能正常工作,一开始我以为自己搭集群时哪有错,但实际上没有错,只是软件兼容性问题。仅以此篇文章纪念2021.12.23这沉重的一天。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>