发布日期: 2021-09-26
版本号: v0.2.6

性能优化方面：在离线推荐阶段增加工作节点缓存机制，提升处理效率；针对冷启动用户及物品优化CCD推荐算法训练流程，自动跳过无效数据；通过位集合与时间戳技术加速邻近物品搜索速度；按数据渠道优化加载逻辑，减少冗余操作；多维度优化内存占用，降低资源消耗。问题修复方面：调整服务启动顺序确保数据集加载前启动HTTP服务；改进大模型文件在gRPC协议中的传输方式；修复CSV文件读取时的UTF-8字符兼容性问题；替换不兼容的新版SQL语法保证系统兼容性；关闭仪表盘的权限验证功能；修正API文档中的响应参数描述错误。

更新内容 （中文）

性能

  • 离线推荐期间在worker中缓存数据项(8bbe7a65089e2bf18efcb2163925fc1a27a53b00)
  • 训练CCD推荐器时跳过冷启物品及用户(dc3c66f18f3e47a1c735c75c5b574b06be45dabd)
  • 通过位集(bitset)和时间戳加速近邻搜索(7698ce7fe4aaa574a05af5d7570cf1ad24e3b2f0, f6d78bc17bcd8344e841a60de1dc5ff9d19df2e8, 06f604d426955380b94f57a79d303dac3314b21d)
  • 按渠道优化数据加载(5236e8ce70ceb0b28fcbfe8d58ff0e5e208fdd12)
  • 优化内存占用(2f34bcd3b11c28be1e3852b17997f809616a1b3c, eaecd64084b5d8b4b6025e25bec323e582e11815)

修复

  • 在加载数据集前启动HTTP服务端(#256)
  • 通过gRPC传输大模型(#246)
  • 读取csv文件时正确处理UTF-8字符(#251 由@amaaazing授权)
  • 将不兼容的新SQL语法替换为兼容的SQL语法(#249 由@hetao29授权)
  • 禁用控制台的鉴权功能(a863e903b0a24f513589ac75b704b96644cc580c)
  • 修复swagger接口文档的响应格式(#262 由@ccfish86授权)

更新内容 （原始）

Performance

  • Cache items in workers during offline recommendation (8bbe7a65089e2bf18efcb2163925fc1a27a53b00).
  • Skip cold items and users during fitting CCD recommender (dc3c66f18f3e47a1c735c75c5b574b06be45dabd).
  • Speed up neighbor searching by bitset and timestamps (7698ce7fe4aaa574a05af5d7570cf1ad24e3b2f0, f6d78bc17bcd8344e841a60de1dc5ff9d19df2e8, 06f604d426955380b94f57a79d303dac3314b21d).
  • Optimize data loading by channel (5236e8ce70ceb0b28fcbfe8d58ff0e5e208fdd12).
  • Optimize memory usage (2f34bcd3b11c28be1e3852b17997f809616a1b3c, eaecd64084b5d8b4b6025e25bec323e582e11815).

Fix

  • Start HTTP server before loading datasets (#256).
  • Send large model over gRPC (#246).
  • Handle UTF-8 characters when reading lines from a csv file (#251, authorized by @amaaazing).
  • Replace unsupported new SQL syntax with compatible SQL syntax (#249 authorized by @hetao29).
  • Disable authorization for dashboard (a863e903b0a24f513589ac75b704b96644cc580c).
  • Fix responses in swagger apidocs (#262, authorized by @ccfish86).

下载链接