Cos交易酱搜索优化计划

COS 酱的核心功能是促成 cosplay 交易信息的交换流通，所以对信息的采集、整理和优化是最重要的部分。

经过一段时间的数据积累，目前数据库中已有 60000 多余条微博数据，过滤掉的垃圾信息已经有 20000 多条。我们使用最简单的规则过滤掉了三分之一的无用信息，这些信息绝大部分来自于机器控制的僵尸帐号微博。但目前而言，过滤完的信息依然有不少可以定义为重复、垃圾的信息，所以接下来准备对过滤规则进行一些改进。

1. 微博中有“微话题主持人”这样一种角色，我完全不知道有什么存在意义。他们做的唯一的工作就是把同话题下大量的微博重新转发一下，并在转发时再次添加同一个话题，比如 #cos 二手#。由于本站对微博采集就是基于话题、关键词等方式进行的。因而这些无用的微博也会被搜索到。接下来打算通过帐号黑名单方式过滤这一类需求。

2. 热门微博的多次转发。在最初设计这个网站时，考虑过是否采集转发的，最后确定是包括转发也采集。因为存在二手信息发布者通过转发微博的方式提供一些补充信息，比如 “xx 已经出售，还剩 yy、zz” 等。但当初考虑不周的是，某些粉丝众多的红人 cos 的微博存在大量转发，会导致采集到的数据也出现 “刷屏”。另一种是专业转发号在某一时段大量转发，也会出现类似的情况。基于此，接下来需要添加一些入库规则过滤。

2.1 如果一条转发微博的原微博不在库内，则转发微博和原微博都入库。
2.2 如果原微博已有，转发微博用户和原微博用户相同，则视为对原微博的“补充说明”，也入库。
2.3 如果原微博已有，转发用户非原博用户，则入库标记为垃圾微博。
2.4 如果原微博已有，转发微博用户和原微博用户相同，且转发内容为“转发微博”，则入库标记为垃圾微博。

——以上：原则是，对于搜索引擎而言，多条相同信息是无意义的，只需要保留确实有意义的内容即可。

3. 对于搜索请求，由于动漫这个特定领域的分词非常难做。目前网站的搜索是没有分词的，于是导致“火神毛”的搜索请求并没有表达用户本来的意思 “火神+毛”。接下来会研究一下如何变通地实现这个需求。