多模态哈希表示学习——朱磊_哔哩哔哩_bilibili
哈希的初衷是解决扩展性的问题 但是信息损失很大
监督哈希表示学习依赖用户表亲啊提升系统精度 影响扩展性
无监督哈希不依赖 具有良好的扩展性
但是无监督哈希缺少明确的语义知道 影响哈希学习精度
目录
一、跨模态迁移学习
二、多模态哈希
未来展望
一、跨模态迁移学习
并不是人工标注的
语义信息
挖掘图像内部的语义信息 来增强无监督哈希学习的过程
轻量级网络框架 减少参数 加快训练过程
二、多模态哈希
难点融合多模态信息
存在问题
1.采用固定融合权重难以步骤每个多媒体实例特点
2.松弛+量化的方法造成量化损失采用循环下降坐标法求解哈希码慢
3.模型复杂度高难以对大规模数据训练
有两种方式一种有监督的，一种无监督的
对查询对象做一个自适应调整
未来展望
