记一次maven项目中Hadoop 2.7.2 和Hbase-client以及hbase server 1.2.6 依赖的guava jar 包冲突解决办法

By | 2019年2月12日

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/eases_stone/article/details/80108803

问题描述

总的项目模块中依赖com.google.guava:guava:jar:的有Phoenix,Spring, Hbase-client, Hbase-server, hadoop-common. 而出问题的子模块,对此jar 包的依赖的有Spring, Hbase-client, hadoop-common.

刚开始的时候,由于adoop-common.Sparing-clond,依赖的版本如下:

com.google.guava:guava:jar:18.0:compile

导致了整个子模块,最终引入的是18.0 的版本。

而hbase-client 依赖的版本如下:

com.google.guava:guava:jar:12.0.1:compile

所以这两个是明显的冲突。

解决探究

问题1,hbase 数据库插入异常

问题发现的时候,是我们往Hbase 数据库里面进行数据插入的时候。报guava 中的某个类找不到。

于是我们把guava 在子模块的pom问案件里面指定为12.0.1 解决了往Hbase 数据库里面插入的问题。

问题2,Spring Clond 启动不成功。

解决了问题1后,但是由于Spring Clond 依赖的guava jar 包版本是18.0, 所以Spring Clond 启动不成功。

针对问题2,我们最终的思路是:

利用maven-shade-plugin 把Hbase-server以及Hbase-client 的jar 包重新shade 成一个胖包。

大致类似的pom 定义如下:(我们之前用这个办法解决了,Spark 和elasticsearch 中netty 包冲突的问题。)

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>rlsb</artifactId>
        <groupId>com.hzgc</groupId>
        <version>2.1.0</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <artifactId>elasticsearch</artifactId>
    <version>1.0</version>

    <dependencies>
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>transport</artifactId>
            <version>${es.version}</version>
        </dependency>
        <dependency>
            <groupId>io.netty</groupId>
            <artifactId>netty-common</artifactId>
            <version>4.1.11.Final</version>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.1</version>
                <configuration>
                    <createDependencyReducedPom>false</createDependencyReducedPom>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <relocations>
                                <relocation>
                                    <pattern>io.netty</pattern>
                                    <shadedPattern>hzgc.io.netty.common</shadedPattern>
                                </relocation>
                            </relocations>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer" />
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>        

俗话也说,车到山前必有路

最终,我们发现网上有一博客说。guava 16.0 可以适应hadoop 2.7.2  hbase 1.2.6, 我们尝试了一下,把guava 换成16.0, 问题得到完美解决。

请关注公众号获取更多资料

发表评论