Sqoop导出数据报错：Illegal character in scheme name at index 0: [file:///usr/…/hive-hcatalog-core.jar]

不积硅步，无以至千里。

1、作业任务

使用Sqoop导出hive的数据到SqlServer

# 脚本
sqoop export --connect 'jdbc:sqlserver://主机名:端口;database=库名' --username '用户名' --password '密码' 
--table 'sqlserver目标表名' 
--input-null-string '\N' --input-null-non-string '\N' 
--hcatalog-database hive库名 
--hcatalog-table hive表名  
--hcatalog-partition-keys dt  
--hcatalog-partition-values $dt  
-m 1

2、问题

任务成功了，但是执行过程日志有ERROR日志：

java.net.URISyntaxException: Illegal character in scheme name at index 0: [file:///usr/…/hive-hcatalog-core-3.1.0.jar]，如下图：

3、解决方案

因为hive-site.xml中hive.aux.jars.path配置的路径用 中括号[ ] 括起来了，然后源码中new URI(String path) 传入的参数为：[路径],

URI解析时检查首字符为 ‘[’ ，就出现了上述报错。将hive.aux.jars.path配置的value中的中括号去掉即可。

其实从日志中可以看出：在索引为0的位置有非法字符

java.net.URISyntaxException: Illegal character in scheme name at index 0: [file:///usr/.../hive-hcatalog-core-3.1.0.jar]

我一直以为是file的首字符 ‘f’ 有问题，直接把中括号[忽略了，因为不知道源码中打印日志的格式。查了源码才知道。

4、相关源码：

4-1、org.apache.hadoop.hive.common.FileUtils#getJarFilesByPath

4-2、org.apache.hadoop.hive.common.FileUtils#getURI

4-3、java.net.URI#URI(String)

4-4、java.net.URI.Parser#parse

4-5、java.net.URI.Parser#checkChar

4-6、java.net.URI.Parser#checkChars

scan方法返回的0，因为input代表的路径字符串首字符为左中括号 ‘[’，ASCII十进制为91。由4.7可知 scan返回p结果为0。

4-7、java.net.URI.Parser#scan(int, int, long, long)

c = input.charAt(0) = ‘[’ ，ASCII十进制为91，由4.8可知match方法return为false，最后该方法返回p的结果为0。

4-8、java.net.URI#match

该方法只有字符的ASCII十进制为97-122时，才返回true。97~122对应字符 ‘a’ ~ ‘z’ 。变量c为 ‘[’ ，ASCII十进制为91，return结果为false。

4-9、java.net.URI.Parser#fail(String, int)

4-10、java.net.URISyntaxException#URISyntaxException(String, String, int)

4-11、java.net.URISyntaxException#getMessage

由此可以看出日志"Illegal character in scheme name at index 0: [file:///usr/…/hive-hcatalog-core-3.1.0.jar]"中的中括号也是路径的一部分，所以解析错误了。去掉即可。

青山不改，绿水长流。