[问题]HDFS文件查找问题

【 在 binsnail 的大作中提到: 】 : 想将大量的文件保存在HDFS中，那么通过什么方法能实现对文件的模糊查找呢，求解决思路，求各位大神赐教！ 大量的文件是指小文件吗？小文件的话可以将多个小文件压缩成一个split处理。如果是一整个大文件做模糊查找的话，用InputFormat将文件按照段分隔成split,按段是怕出现边界问题（比如查找中国，split分片恰好将中和国分在了两个片里），然后每个split进行查找？

其实文件内搜索倒不是大问题，是想实现类似文件检索的那种方法，然后才需要文件内查找，希望对单个文件的查找进行优化，不知道我说明白了吗…… 【 在 zjianjia 的大作中提到: 】 : 大量的文件是指小文件吗？小文件的话可以将多个小文件压缩成一个split处理。如果是一整个大文件做模糊查找的话，用InputFormat将文件按照段分隔成split,按段是怕出现边界问题（比如查找中国，split分片恰好将中和国分在了两个片里），然后每个split进行查找？