记录idea导入Flink源码踩过的坑

Flink

Posted by amazingJing on March 30, 2020

本文首次发布于 amazingJing Blog, 作者 @神兵(amazingJing) ,转载请保留原文链接.

使用IDEA搭建Flink1.10.0源码踩过的坑

由于对BigData感兴趣,在学习了Hadoop、MapReduce以及了解Spark相关技术后,准备开展对于Flink的学习,本篇文章主要介绍使用IDEA搭建Flink1.10.0源码运行词频统计例子WordCount过程中遇到的问题,记录下来避免今后在遇到相同问题浪费时间。搭建过程就不再赘述了,百度搜索会有详细介绍,本文主要是记录作者过程中遇到的问题以及解决方法。

  • 1.找不到依赖io.confluent:kafka-schema-registry-client:3.3.1

    解决办法: 首先登陆MVNRespsitory下载相关的jar,这里会发现找不到3.3.1版本的包,所以我选择了3.3.2版本包。下载完成后,通过命令行安装进行安装。

    mvn install:install-file -Dfile=D:\JHH\myMavenRepo\kafka-schema-registry-client-3.3.2.jar -DgroupId=io.confluent -DartifactId=kafka-    schema-registry-client -Dversion=3.3.2 -Dpackaging=jar
    

  • 2.org.codehaus.mojo:build-helper-maven-pligin: ![](https://s1.ax1x.com/2020/03/30/Gu0ZKH.png)

    解决办法:在对应的pom.xml文件中加入版本号3.0.3

  • 3.maven依赖没有问题后,build项目时报错import org.apache.flink.sql.parser.impl.FlinkSqlParserImpl;发现项目中果真没有这个文件。 解决办法:通过idea对相应模块generate sources,一次可能不成功,建议多尝试几次。

  • 4.与Avro有依赖关系的类文件找不到由Avro框架根据.avsc文件生成的对应的.java文件

    解决方法:通过maven编译对应模块,就可以找到对应的文件。

    最后,通过运行Flink官网自带的Examples中的WordCount,检验代码成功运行,就可以愉快地调试源码了。

关于Flink的学习,推荐自认为优秀的网站: