文章详情页
java - hadoop数据查找
浏览：55日期：2024-02-06 11:45:32
问题描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的
问题解答
回答1：这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决
标签：
java
相关文章：
1. nignx - docker内nginx 80端口被占用2. docker-machine添加一个已有的docker主机问题3. docker网络端口映射，没有方便点的操作方法么？4. 在windows下安装docker Toolbox 启动Docker Quickstart Terminal 失败！5. 学习这个是不是要先学下css？6. javascript - 为什么我的animation-fill-mode 设置不生效7. javascript - nodejs抓取网页的问题8. javascript - html5多个label中其中一个触发change，如何判断是哪一个出发了change9. vue.js - nginx怎么修改跨域配置?10. html5 - WebSocket跨域
排行榜
网公网安备