Image |
您所在的位置：网站首页 › 李胜杰100句话内容文字描述图片 › Image |
Image
|
图像中文描述
图像中文描述问题融合了计算机视觉与自然语言处理两个方向，对图片输出一句话的描述。 描述句子要求符合自然语言习惯，点明图像中的重要信息，涵盖主要人物、场景、动作等内容。 此项目是人工智能实践的课程项目，非常感谢曹健老师和每一位队友！ Our Demo:https://www.bilibili.com/video/av39947484 Reference Paper: Show and Tell: A Neural Image Caption Generator https://arxiv.org/pdf/1411.4555 Reference Code:https://github.com/foamliu/Image-Captioning 技术细节详见博客:https://hughchi.github.io/2019/04/12/图像中文描述/ EnvironmentPython==3.5 Tensorflow==1.5.0 Keras==2.2.2 数据集
数据来自2017 AI Challenger 数据集对给定的每一张图片有五句话的中文描述。数据集包含30万张图片，150万句中文描述。 训练集：210,000 张 验证集：30,000 张 测试集 A：30,000 张 测试集 B：30,000 张 数据集下载，放在data目录 模型结构
Result
CIDEr
Bleu_4
Bleu_3
Bleu_2
Bleu_1
ROUGE_L
METEOR
0.810
0.281
0.368
0.482
0.634
0.489
0.291
使用方式
Demo
下载 预训练模型 放在models目录 $ python app.py Image Caption
Beam Search, k=1: 一个穿着潜水服的人在蔚蓝的海里潜水Beam Search, k=3: 海面上有一个穿着潜水服的人在潜水Beam Search, k=5: 海面上有一个穿着潜水服的人在潜水Beam Search, k=7: 波涛汹涌的大海里有一个穿着潜水服的人在冲浪
Beam Search, k=1: 大厅里一群人旁边有一个穿着黑色衣服的女人在下国际象棋Beam Search, k=3: 大厅里一群人的旁边有一个左手托着下巴的女人在下国际象棋Beam Search, k=5: 大厅里一群人旁有一个戴着眼镜的女人在下国际象棋Beam Search, k=7: 大厅里一群人旁边有一个戴着眼镜的女人在下国际象棋
数据预处理
$ python generated.py
训练
$ python backward.py
可视化训练过程
$ tensorboard --logdir path_to_current_dir/logs
网页展示
|
【本文地址】