简介
对elasticsearch封装成一个服务opensearch平台,实现其他部门搜索功能的快速接入能力。
应用场景
站内搜索(订单、帖子、门店、产品、物流)、日志、系统调用链
配置、生产数据
订单优惠券(16C 、32G 、3Node 、500G+数据、 1w+QPS、 RT < 100ms,写入查询要求高
商品论坛(8C、16G、3Node、20G+数据、8k+QPS、RT < 30ms), 查询要求高
日志(16C 、32G 、32Node、日均60TB数据,RT秒级)、写入要求高
已有功能
admin后台(分类管理、过滤标签管理、索引管理、定时mysql同步、词典&同义
词管理、黑白名单)、下拉推荐词、异地容灾、系统监控
高可用
双写+快照,双写保证实时性,快照保证最终一致性。
优化案例
深度分页、cpu内存增高、用scroll解决 、_id以分类作前辍容易造成hash冲突
导致分片不均,解决方式为_id随机生成,更新删除由业务Id作条件删除。
电商搜索领域重点关注
不能丢品,性能高,召回、准确率高
目前功能
仅实现布尔模型、空间向量模型,成本收益考虑,不实现NLP等高级功能。