文章详情页

java - hadoop数据查找

更多 QQ空间微信 QQ好友腾讯朋友复制链接

【字号：大中小】日期：2024-02-06 11:45:32浏览：26作者：猪猪

问题描述

使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的

# map.shawk -F '03' ’$3==xxx{print $0}’ -

结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的

问题解答

回答1：

这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决

java

上一条：为什么做Java游戏服务端不需要掌握ssm、ssh的下一条：java GC日志该怎么看？

相关文章：

1. PHP单例模式2. node.js - nvm怎么更新node的最新版本呀？3. html5 - 目前公司App 嵌入H5页面做个手机支付功能没有做过所以请求各位有经验的给个思路4. dockerfile - [docker build image失败- npm install]5. Angular.js 无法设置Authorization头，该怎么解决？6. html5 - Vue绑定动态变量不可用7. docker不显示端口映射呢？8. Docker for Mac 创建的dnsmasq容器连不上/不工作的问题9. angular.js使用$resource服务把数据存入mongodb的问题。10. angular.js - angular内容过长展开收起效果

排行榜

					
					node.js - nvm怎么更新node的最新版本呀？
html5 - 目前  公司App 嵌入H5页面  做个 手机支付功能  没有做过  所以 请求各位有经验的  给个思路
PHP单例模式
Angular.js 无法设置Authorization头，该怎么解决？
angular.js - angular内容过长展开收起效果
angular.js使用$resource服务把数据存入mongodb的问题。
Docker for Mac 创建的dnsmasq容器连不上/不工作的问题
html5 - Vue绑定动态变量不可用
docker不显示端口映射呢？
dockerfile - [docker build image失败- npm install]
php laravel框架模型作用域
				

热门标签