Sqoop导出数据报错:Illegal character in scheme name at index 0: [file:///usr/…/hive-hcatalog-core.jar]
Sqoop导出数据报错:Illegal character in scheme name at index 0: [file:///usr/…/hive-hcatalog-core.jar]
不积硅步,无以至千里。
1、作业任务
使用Sqoop导出hive的数据到SqlServer
# 脚本
sqoop export --connect 'jdbc:sqlserver://主机名:端口;database=库名' --username '用户名' --password '密码'
--table 'sqlserver目标表名'
--input-null-string '\N' --input-null-non-string '\N'
--hcatalog-database hive库名
--hcatalog-table hive表名
--hcatalog-partition-keys dt
--hcatalog-partition-values $dt
-m 1
2、问题
任务成功了,但是执行过程日志有ERROR日志:
java.net.URISyntaxException: Illegal character in scheme name at index 0: [file:///usr/…/hive-hcatalog-core-3.1.0.jar],如下图:
3、解决方案
因为hive-site.xml中hive.aux.jars.path配置的路径用 中括号[ ] 括起来了,然后源码中new URI(String path) 传入的参数为:[路径],
URI解析时检查首字符为 ‘[’ ,就出现了上述报错。将hive.aux.jars.path配置的value中的中括号去掉即可。
其实从日志中可以看出:在索引为0的位置有非法字符
java.net.URISyntaxException: Illegal character in scheme name at index 0: [file:///usr/.../hive-hcatalog-core-3.1.0.jar]
我一直以为是file的首字符 ‘f’ 有问题,直接把中括号[忽略了,因为不知道源码中打印日志的格式。查了源码才知道。
4、相关源码:
4-1、org.apache.hadoop.hive.common.FileUtils#getJarFilesByPath
4-2、org.apache.hadoop.hive.common.FileUtils#getURI 
4-3、java.net.URI#URI(String)
4-4、java.net.URI.Parser#parse
4-5、java.net.URI.Parser#checkChar
4-6、java.net.URI.Parser#checkChars
scan方法返回的0,因为input代表的路径字符串首字符为左中括号 ‘[’,ASCII十进制为91。由4.7可知 scan返回p结果为0。
4-7、java.net.URI.Parser#scan(int, int, long, long)
c = input.charAt(0) = ‘[’ ,ASCII十进制为91,由4.8可知match方法return为false,最后该方法返回p的结果为0。
4-8、java.net.URI#match
该方法只有字符的ASCII十进制为97-122时,才返回true。97~122对应字符 ‘a’ ~ ‘z’ 。变量c为 ‘[’ ,ASCII十进制为91,return结果为false。
4-9、java.net.URI.Parser#fail(String, int)
4-10、java.net.URISyntaxException#URISyntaxException(String, String, int)
4-11、java.net.URISyntaxException#getMessage
由此可以看出日志"Illegal character in scheme name at index 0: [file:///usr/…/hive-hcatalog-core-3.1.0.jar]"中的中括号也是路径的一部分,所以解析错误了。去掉即可。
青山不改,绿水长流。