作者：走在前方 介绍：计算机硕士，多年工作经验，技术和产品负责人。 多年推荐系统/NLP/大数据工作经验。 负责公司多个AI项目产品落地，包括文本分类、关键词抽取、命名实体识别、对话系统中语义理解、FAQ智能问答、知识图谱、图搜、推荐系统等
本文主要分享核心要点
文章目录
- 图片标签问题
- 不同图片标签差异
- 图片分类：二分类（binary-class classification）场景
- 图片分类：多分类（Multi-class classification）场景
- 图片分类：多输出分类（Multi-output classification）场景
- 图片分类：多标签图片分类（Multi-label classification）场景
- 以图搜图
- 多目标输出图片分类
- 背景介绍
- 数据分析
- **自定义数据集****+****模型定义和设计**
- **模型数据验证混淆矩阵可视化**
- **模型加载**
- **图片多标签预测**
- **多分类输出多标签案例演示**
- 多标签图片分类
- 多标签和多分类应用
- 介绍两个重要的分类器
- 数据介绍
- **分类器****+****损失函数**
- **网络模型设计**
- **多标签分类模型****-****效果可视化**
- **多标签图片分类功能演示**
- 以图搜图
- 图像搜索应用场景
- 百度图像搜索
- 相似图片搜索场景
- 相同图片搜索场景
- 商品图片搜索场景
- 阿里图像搜索
- 电商图库类场景
- 布料纺织场景
- 商标logo检索场景
- 通用图库类场景
- 以图搜图实践
- 图像搜索发展历程
- 卷积神经网络理论必备
- **Faiss向量**搜索库基础入门
- 以图搜图项目实战
- **数据介绍**
- **以图搜图系统架构**
- **以图搜图技术架构原理**
- 深度学习框架选型
- ** Faiss 开源向量检索引擎**
- **Faiss 不同类别索引**
- **Faiss索引构建源码解读**
- **图片特征抽取**
- **在线实时检索演示**
- 图片标签问题
- 什么是多标签图像分类
- 多标签图像分类与多类图像分类有何不同
- 构建多标签图像分类模型的步骤
- 你了解哪些多标签图像分类模型结构
- 多分类和多标签分类器和损失函数选择
- 图片标签在推荐和搜索系统应用
- 不同图片业务应用
- 二分类
- 多分类
- 多目标任务
- 多标签
- 以图搜图
- 多目标输出图片分类应用
- 背景和数据介绍
- 自定义数据集合网络模型设计
- 模型加载预测
- 在线预测以及数据可视化
- 多标签图片分类应用
- 多标签和多分类区别
- 二分类和多分类以及损失函数
- 网络模型设计
- 多标签预测
- 以图搜图应用
- 图搜应用场景和原理
- 开源向量检索引擎
- 系统架构
- 图片特征抽取和在线实时检索
- 什么是多标签图像分类
- 多标签图像分类与多类图像分类有何不同
- 构建多标签图像分类模型的步骤
- 你了解哪些多标签图像分类模型结构
- 多分类和多标签分类器和损失函数选择
- 图片标签在推荐和搜索系统应用
以4类(猫、狗、兔子和鹦鹉)看下多分类特点：
每张图片只能被分类为猫、狗、鹦鹉或兔子。没有任何一个图像属于多个类别的情况
3类（电商时尚类）：性别+颜色+类型（ 每张图片都有3个固定的标签 ），固定输出图片多标签
多标签图片分类
①每个图像都属于一个以上的类
②每个图片出现的标签并不是固定的
③标签获取从标签池中选择最可能标签展示
- 基于图片标签搜索
- 基于图片特征搜索
随着电子商务产业快速发展，有大量的数据集等待着我们去搜集和研究。除了专业拍摄高质量产品图像，商品本身还拥有多个标签属性，用于描述商品各种特征。另外，还提供了关于商品特性的描述性文本
数据介绍：每个商品都有一个唯一编码（例如：ID =15970) ，商品信息主要字段信息如下所示
自定义数据集
①加载指定的标签数据
②计算标签种类和数量统计
③构建标签字典
④自定义数据集工具类
模型定义和设计
①加载预训练的网络（例如：mobilenet_v2,resnet,resnext. 用户可以自己选择进行实验）
②修改基础网络结构，原来网络最后一层仅支持一个分类标签输入
③每个标签属性损失函数选择cross-entropy loss （采用联合训练求loss）
model = MultiOutputModel(n_color_classes,
n_gender_classes,
n_article_classes)
model.to(device)
checkpoint = “https://blog.51cto.com/u_14361901/checkpoints/2020-09-21_15-59/checkpoint-000049.pth”
model.load_state_dict(torch.load(checkpoint,map_location=‘cpu’))
model.eval（)
- 不同任务的图片分类应用
- 针对一张图片，强制只能一种数字，可以使用softmax分类器
- 胸部X光片：一次胸部X光片可以同时显示多种不同的医疗状况。如果我们为胸部x光片构建一个分类器，我们希望该分类器能够指示存在多种情况。这是一张同时显示肺炎和脓肿的胸部x光照片，以及相应的标签。
- 入院：根据患者的健康记录，我们可能需要预测该患者将来是否会入院。我们可以将其定义为一个分类问题：根据患者未来的入院诊断（如果有的话）对患者过去的健康记录进行分类。患者可能因多种疾病入院，因此可能有多个正确答案
Sigmoid和Softmax对比
随着数字时代的到来，传统单单的文字搜素已经无法满足人们的搜索了，图像搜索，甚至是视频搜索都已经比较成熟。
图像搜索服务 （Image Search）是以深度学习和大规模机器学习技术为核心，通过图像识别和搜索功能，实现以图搜图的和以文搜图的智能图像搜索产品。图像搜索服务在基于图像识别技术基础上，结合不同行业应用和业务场景，帮助用户实现相同或相似图片搜索。
现在大火的人工智能主要是：语音识别，自然语言处理，计算机视觉，推荐系统等等。
人工智能技术应用：
n语音识别+自然语言处理：amazon echo，google assistant/home，siri，国内一大票智能音箱
n计算机视觉：微博面孔专辑（商汤提供的cv能力），海康威视/格林深瞳的安防，**拍立淘（手机淘宝里面的相机入口），百度识图（百度app里面的相机入口），**Google Photo
n推荐系统：手机淘宝主页往下翻有个栏目叫猜你喜欢，qq/网易音乐的每日推荐歌曲等
图片搜索的主要应用是二维码扫描、以图搜图、拍照搜题、拍照翻译、AR翻译、以图搜剧等
以图搜图，在指定图库中搜索出相同或相似的图片，适用于图片精确查找、相似素材搜索、拍照搜同款商。
相似图片搜索场景
在自建图库中找到与检索图片语义相似的图片集，并给出相似度打分（综合图片类型、颜色、内容、布局等特征）；适用于各种相似图片查找、相关内容推荐场景
- 设计素材查找
基于拍摄照片查找相似或相同的图片作品，满足设计师人群、工作人员更快捷高效查找原版大图或相似作品的需求
- 商品搜索及推荐
将用户拍摄的图片在商品库中搜索，找到同款或相似的商品，进行商品销售或者相关商品推荐，提升搜索查找的便捷性，优化用户体验
- 相关内容推荐
将文章内容或者产品服务中的图片入库，通过比对用户上传的图片，查找相似图片，从而找到相关的内容信息，实现相关内容搜索、推荐
相同图片搜索场景
在自建图库中找到与检索图相同的图片，支持找到局部内容相同的大图，或适度调整背景和角度的相同图片；可用于图片精确查找、重复图片过滤等场景
应用场景
- 重复图片过滤
搜索图库中是否有相同或高度相似的图片，实现系统内图片去重或过滤，避免重复内容引起的资源浪费、体验下降等问题
- 图片精确查找
在图片库中找到主体相同的图片，结合相似度分值，判断图片内容是否严格相同，可用于特定图片查找、图片内容精准关联等场景
商品图片搜索场景
针对商品类图片，专项训练检索模型，在自建图库中搜索相同及相似的商品图片集，可找到不同颜色、背景、角度的同款商品；适用于电商平台拍照搜商品等场景
- 商品搜索及推荐
将用户拍摄的图片在商品库中搜索，找到同款或相似的商品，进行商品销售或者相关商品推荐，提升商品搜索查找的便捷性，优化用户购买体验
- 商品识别
将商品名称与图片相匹配一起入库，通过图片相似度判断实现指定集合内的商品识别，可用于户外广告拍照下单、供应链系统拍图找货等场景
接下来我们就针对图搜场景进一步探索。
电商图库类场景
用户只需拍摄或者上传商品照片，就可以根据图片进行商品搜索。 省去了繁琐的文字描述，简化了商品搜索流程，大大提升用户的购物体验。
布料纺织场景
商标logo检索场景
在商标、标识等场景下搜索相同或相似logo图形，大幅度简化人工肉眼比对的工作量，并有效提供工作效率。
通用图库类场景
图片分享和社交类网站通常有大量通用图片供用户搜索使用，利用图像搜索服务，可在云端快速构建百亿级图像搜索引擎，提供以图搜图功能，提升用户体验。
为方便更直观认知图像搜索场景应用，我们采用的方案：
基于深度学习工具PyTorch + Facebook AI searcher Faiss向量相似性搜索算法库。
举例说明如下：
红色方框是查询图，绿色方框是完全匹配的结果，其它是最相似的top
采用PyTorch深度学习工具进行图片特征提取。首先我们需要做的，要理解卷积神经网络如何特征提取的？这部分重点给大家讲解相关CNN的概念。
- 初识CNN
- CNN 卷积层概念
- CNN 中的stride和zero-padding使
- CNN 特征图计算
- CNN PoolLayers和FC&训练过程演示开始学习
- CNN 网络发展历史
- 图形化介绍FC和CNN 区别以及CNN 层概念
- keras 实现CNN 网络
- 图形化方式介绍CNN在图像应用
- CNN 在语音和文本中应用介绍
faiss 向量化相似索引库，主要完成文本向量化特征的存储和检索。
- faiss安装
- faiss 快速入门
- faiss 基础模块和索引选择
- faiss 基础索引类型介绍和源码分析
- Faiss indexes IO和index factory
- Faiss indexes 前(后)处理
- Faiss indexes 基础索引类型
- Faiss indexes 多种index混合
- Faiss indexes 进阶操作
- faiss 索引优化方案
- faiss一些基准实验
数据集介绍
图片集包含 17125 张图片，涵盖 20 个目录。
n人类；
n动物（鸟、猫、牛、狗、马、羊）；
n交通工具（飞机、自行车、船、公共汽车、小轿车、摩托车、火车）；
n室内（瓶子、椅子、餐桌、盆栽植物、沙发、电视）
数据集大小：~2GB
说明：您也可以使用其他的图片数据进行图片索引构建和检索。
索引构建压缩
尝试20万照片构建图片索引生成439M索引文件
索引降维压缩后，最后生成32M索引文件，效果基本不受影响
为方面进一步的理解以图搜图业务场景执行方案，通过VISO 图再次演示如下：
主要分为三个部分——图像特征抽取，图像特征构建索引、图像快速检索。
**第一步：**图像特征抽取方法
- 传统的方法有各种图像处理的方法，比如hog直方图，小波过滤等方法提取特征
- 流行的深度学习方法，比如卷积神经网络等；
**第二步：**使用特征抽取器对图像库抽取特征，并以向量的形式存储起来；
**第三步：**构建索引后，图像索引的好坏影响搜索速度
通过案例来看看图像检索基本的流程。首先，提供一张图像，然后按照下面的流程执行
->抽取特征
->图像库特征匹配（余弦相似度或者欧式距离）
->相似度的大小进行排序
-> 输出匹配结果
主要借助深度学习框架，完成图片特征提取，一般采用TensorFlow 或者 PyTorch
项目： 采用PyTorch深度学习工具，同时采用Faiss 完成图片特征存储和检索（毫秒）
Faiss是Facebook AI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库。它包含多种搜索任意大小向量集（备注：向量集大小由RAM内存决定）的算法，以及用于算法评估和参数调整的支持代码。Faiss用C++编写，并提供与Numpy完美衔接的Python接口
- 第一张照片：用户检索照片，后面相似照片推荐（相似得分：从左到右、从上到下排序）
- 索引库采样降维压缩，压缩前后减少1/4
- 图片检索速度在毫秒级别( 5000 万图片库)
更多以图搜图的效果案例**>>**