SearchEngine

最近用java写了个爬虫，也了解了大概的原理，感觉组织不起来 现在也仅仅是可以多线程抓取网页了，存储在本地 但是有几个问题 1.网页存下来，再怎么弄，抽取正文？标题？如果想要做垂直搜索的话 2.针对爬虫本身，怎么提高一下效率，试过java nio，感觉效率并不是特别高 3.pageRank hits算法这些用在哪一步 …

有大神知道怎么进入深网吗 希望能指点一二 发自「贵邮」

【 以下文字转载自 BoardManager 讨论区 】 发信人: icyfox (熊爸), 信区: BoardManager 标 题: 辞退版主职位的通知 发信站: 北邮人论坛 (Wed Oct 22 11:06:38 2014), 站内 可能因为学业或者其他原因，某些版面斑竹长久 疏于版面的管理和发展。现经北邮人论…

在用Heritrix定制抓取种子站点“bbs.byr.cn/#!board/Friends”含关键字“feeling”时抓取失败，在含关键字“bbs”时能成功，这是不是和url有关。 通过『我邮2.0』发布

最近在弄heritrix但是死活也不能把它剥离出爬网页的内核来，准备学习搜索引擎这一块，但是起步还是挺乱的，翻到什么就开始随便看看，求大神讲讲自己的学习经历也好，整个过程也罢，给小弟一个学习的方向，我一步步来。 发自「贵邮」

有一千个规则,每条规则包含:x0,x1,x2,x3,...,x9,y0,y1,y2,y3,...,y9; x0,x1,x2,x3,...,x9是由url中的url path组成,分别为path0,path1....path9;y0,y1,y2,y3,...,y9是由url中url query组成,分别为query0,q…

如题，我想问问re la tive 10 和carryover12算法，尤其是码子类型指示那2bit位！

如题，有校友在里面做搜索吗？站内下，请教个事情

如果你想······ 未来的工作环境更加“国际范儿”—— 通过面试就有可能去Google美国总部工作！ 如果你认为······ 传说中的G公司技术面试挺神秘，网络流传的G公司笔经、面经不知真假—— 我们为大家准备了官方技术求职大礼包！请在Weibo搜索话题#2013年Google官方技术求职大礼包#，或访问http:/…

最近在学日语，下载的课本配套MP3里面把课文练习单词什么的都放的一个文件，每次要找到一个部分都要来回按进度条然后二分查找定位（囧）。因为每两个部分中间都有叮一声，而且每个部分开头还会说会话，例文等等的标题，每个部分时间长短也都大体在一个差不多的范围内，所以我觉得也许可以做个程序大略得到每个部分开头的位置，这样就可以做个…

话说自带也太烂了。。。

RT

最近在研究这个，希望得到这两个数据，请问一下大家怎么去下载啊？官网都是英文，我打开还说要收费？谢谢了

哪位大神实验室参加过TREC评测，求分享一些数据，或者提供以下获取数据集的方法，谢谢。

研0。 导师让我把scws的规则和算法融入至ikanalyzer中去，我被scws快搞死了，求指导，求一起学习