文章详情页
java - hadoop数据查找
浏览：100日期：2024-02-06 11:45:32
问题描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的
问题解答
回答1：这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决
标签：
java
相关文章：
1. windows docker-machine port2. javascript - 微信网页开发从菜单进入页面后，按返回键没有关闭浏览器而是刷新当前页面，求解决？3. mysql - 如何在数据库里优化 汉明距离 查询？4. mysql每隔10来秒就有一次7、8MB的写入5. c++ - win764位环境下，我用GCC为什么指针占8个字节，而long是4个字节？6. mysql 查询所有评论以及回复7. linux - 为什么我在mysql的my.cnf下找不到bind-address？8. python - flask jinjia2 中怎么定义嵌套变量9. python - 如何使用websocket在网页上动态示实时数据的折线图？10. linux - python -m参数
排行榜
网公网安备