Hadoop 使用IntelliJ IDEA 进行远程调试代码的配置方法
昨天晚上遇到一个奇葩的问题, 搞好的环境DataNode启动报错. 报错信息提示的模棱两可,没办法定位原因.办法,开启远程调试…
注意 : 开启远程调试的代码,必须与本地idea的代码必须保持一致.
二 .服务器端配置2.1. 设置启动远程debug端口修改 服务器上的配置文件 ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh 增加 环境变量即可.
组件 环境变量设置 NameNode export HADOOP_NAMENODE_OPTS='-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y' DataNode export HADOOP_DATANODE_OPTS='-agentlib:jdwp=transport=dt_socket,address=9888,server=y,suspend=y' ResourceManager export YARN_RESOURCEMANAGER_OPTS='-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y' NodeManager export YARN_NODEMANAGER_OPTS='-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y' 2.2. 具体操作1.编辑服务器上的配置文件[${HADOOP_HOME}/etc/hadoop/hadoop-env.sh`]随便加上一行[记住端口!!!]:
export HADOOP_DATANODE_OPTS='-agentlib:jdwp=transport=dt_socket,address=9888,server=y,suspend=y'
启动服务即可 [启动完, JVM返现有jdwp的配置,会自动阻塞, 等到idea调试连接.].
因为我要调试的是DataNode .所以启动命令为:
cd ${HADOOP_HOME}/sbin# 启动datanodesh hadoop-daemon.sh start datanode
查看日志
为了便于观察报错信息 . 打开datanode相关的 日志, 使用命令进行查看就可以了.
到这里,服务端配置就完成了.
三 .Idea配置将与服务器同步的代码导入到idea中, 导入完成, 不编译,不管报错信息…只要导入到idea , 等idea自己构建完就可以了…
3.1. 根据报错信息定位到断点所在的位置 报错信息如下:2021-03-27 22:47:51,949 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMainjava.lang.RuntimeException: Cannot start secure DataNode due to incorrect config. See https://cwiki.apache.org/confluence/display/HADOOP/Secure+DataNode for details. at org.apache.hadoop.hdfs.server.datanode.DataNode.checkSecureConfig(DataNode.java:1523) at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:1376) at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:501) at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2806) at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2714) at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2756) at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2900) at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2924)2021-03-27 22:47:51,959 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: java.lang.RuntimeException: Cannot start secure DataNode due to incorrect config. See https://cwiki.apache.org/confluence/display/HADOOP/Secure+DataNode for details.
可以看到是 org.apache.hadoop.hdfs.server.datanode.DataNode.checkSecureConfig方法.所以直接找到代码, 加上断点即可…
-点击 Edit Configurations....
建立远程debug就可以了主要是端口一定要跟服务端配置的端口要匹配.
第0步, 选择Remote 的截图.
-选择刚才的配置,启动debug调试即可. 然后就可以等待连接到服务器,进行DEBUG操作了…
参考文章:https://www.jianshu.com/p/f33fe9bbca17
到此这篇关于Hadoop 使用IntelliJ IDEA 进行远程调试代码的配置方法的文章就介绍到这了,更多相关IDEA 远程调试内容请搜索好吧啦网以前的文章或继续浏览下面的相关文章希望大家以后多多支持好吧啦网!
相关文章:
1. Java实现Windows计算器界面2. Django migrate报错的解决方案3. python与pycharm有何区别4. IDEA 程序包不存在,找不到符号但是明明存在对应的jar包(问题分析及解决方案)5. Java多线程通信wait()和notify()代码实例6. Java中volatile防止指令重排7. 解决vue watch数据的方法被调用了两次的问题8. Django使用channels + websocket打造在线聊天室9. IDEA标签tabs多行显示的设置10. IDEA 2020.1 版自动导入MAVEN依赖的方法(新版MAVEN无法自动导入/更新POM依赖、MAVEN设置自动更新、自动更新快捷键)
![Java实现Windows计算器界面](http://www.haobala.com/attached/image/news/202211/104355c79b.jpg)