倒排索引是什么数据结构

本案例有一定门槛，需要一点Java基础，Hadoop入门级知识，涉及Maven管理，pom配置文件，Maven打包，Linux虚拟机的使用，Hadoop集群，若阅读期间感觉吃力请自行补课。当然有疑问，也欢迎评论留意或私信我。

1) 实现倒排索引效果：统计每个单词在不同文件中的出现次数；查看下方的案例说明；
2) 输入：自己编辑几个文件，例如 a.txt,b.txt,c.txt。
每个文件的内容为若干行单词，单词之间以空格分开，
并将这些文件上传到 hdfs 的/reversed 目录下；例如a.txt的内容：
hadoop google scau
map hadoop reduce
hive hello hbase
3) 编写程序实现单词的倒排索引效果；
4) 分区要求：以 A-M 字母开头（包含小写）的单词出现
在 0 区；以 N-Z 字母开头的单词出现在 1 区；其余开
头的单词出现在 2 区；
5) 单词的输出形式：hadoop a.txt->2,b.txt->1

,其中
hadoop 是单词（也作为输出的 key）,”
a.txt->2,b.txt->1”表示输出的 value，即表示
hadoop 单词在 a.txt 文件中出现次数为 2，在 b.txt
文件中出现次数为 1；
案例说明：
第一次 MapReduce，统计各文档中不同单词的出现次数；SCAU
输出结果（K，V）的形式示例（可以自定义，默认以分
隔）如下：
hadoop->a.txt 2
hadoop->b.txt 1
map->a.txt 1
map->b.txt 1
第二次 MapReduce，将以上结果(路径)作为输入，处理后
输出倒排索引；
输出结果（K，V）的形式为：
hadoop a.txt->2,b.txt->1
map a.txt->1,b.txt->1
其他：根据 context 获取文件名：
FileSplit inputSplit = (FileSplit)
context.getInputSplit();
Path path = inputSplit.getPath();
String filename = path.getName();

项目层次结构如图：
在这里插入图片描述

ReversedMapper.java

ReversedCombiner.java

ReversedPartitioner.java

ReversedReducer.java

ReversedIndex.java

pom.xml

在这里插入图片描述
如图所示，在右侧点击Maven的package进行打包，打包结果会在左侧的target文件夹中输出。最终需要的只是标红的Jar包。

前序的配置步骤此处跳过，将本地Jar包发送到主节点主机自选的文件夹，然后开启start-dfs.sh和start-yarn.sh开启hdfs和yarn集群，在hdfs里新建reversed文件夹，通过浏览器localhost:9870打开hdfs可视化网页，竟然文件夹管理上传a.txt,b.txt等到reversed文件夹里。
主节点主机上执行:hadoop jar 指定jar包项目java目录开始的主类路径 /reversed 不存在的输出文件夹
本案例指令供参考对照：
hadoop jar MapReduceExp3-1.0-SNAPSHOT.jar reversedindex.ReversedIndex /reversed /reversed_out

在这里插入图片描述
运行完毕后可在hdfs可视化页面查看reversed_out文件夹中的结果。

黑马的课程，亲测很不错：https://www.bilibili.com/video/BV1JT4y1g7nM
解决本案例的视频讲解，适合快速入门：
Hadoop之MapReduce实战-倒排索引（上）https://www.bilibili.com/video/BV1Vt411v7jH
MapReduce实战-倒排索引（下）：https://www.bilibili.com/video/BV1Lt411v7nZ

上一篇： sigfpe信号

下一篇： getopt python

版权声明：
本文来源网络，所有图片文章版权属于原作者，如有侵权，联系删除。

本文网址：https://www.mushiming.com/mjsbk/2046.html

相关文章：