ATEC-问题相似度计算练习赛(内置BERT)

分享给好友

本地提交

在线提交

本地提交

在线提交

大赛简介

ATEC-问题相似度计算是由蚂蚁金服主办的赛题,在智能客服业务场景中提升用户体验、高效问题匹配、减轻客服压力等方面具有重要的价值。

基于对问题相似度计算研究,FlyAI为优秀的算法研究者提供此类赛题并通过FlyAI训练框架内置Google BERT 预训练模型。以客服业务为切入点,与大家一起探讨在自然语言处理领域的研究价值、普惠金融领域的商业发展价值。

Google BERT简介:2018年谷歌AI团队新发布的BERT模型,在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越人类,并且还在11种不同NLP测试中创出最佳成绩,包括将GLUE基准推至80.4%(绝对改进7.6%),MultiNLI准确度达到86.7% (绝对改进率5.6%)等。

赛事主题和数据说明

赛题描述

通过实现算法并提交训练,获取奖金池奖金。小提示:抢先更新算法排行榜,有更大机会获取高额奖金哦!

数据来源

ATEC

数据描述

字段说明:

字段名 字段类型 取值区间 字段描述
id int 不为空 序号
texta string 不为空 文本1
textb string 不为空 文本2
label int 不为空 分类标签

输入字段: texta, textb,

输出字段: label,

参考文献:

[1]atec-text-similarity

[2]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

评审标准

评审指标说明

  • 准确率(Accuracy):对于给定的测试数据集,预测正确的样本数与实际总样本数之比
  • True,表示预测正确的样本数数量
  • Total Number of Samples,表示实际总样本数数量
  • 计算公式如下:

展开

  • 竞赛排行榜
  • 自由练习榜单
第三名

提供者:Notturno

大神经验
batch数据为32,循环次数为20次,损失函数优化完,最终完成评分为85.68。

2019-07-22 17:08:48

85.68

大神经验
第三名

提供者:444444

大神经验
batch数据为48,循环次数为5000次,损失函数优化完,最终完成评分为85.66。

2019-06-04 17:50:48

85.66

大神经验
第三名

提供者:NLP-Learner

暂未公开
batch数据为100,循环次数为6次,损失函数优化完,最终完成评分为85.42。

2019-06-05 15:25:48

85.42

暂未公开
4

提供者:丶人狠话不多

暂未公开
batch数据为48,循环次数为3000次,损失函数优化完,最终完成评分为85.28。

2019-05-27 12:54:28

85.28

暂未公开
5

提供者:云中漫步的云彩

大神经验
batch数据为64,循环次数为5000次,损失函数优化完,最终完成评分为85.15。

2019-05-25 16:05:23

85.15

大神经验
6

提供者:麦小杨

暂未公开
batch数据为256,循环次数为1次,损失函数优化完,最终完成评分为83.48。

2019-07-15 09:53:59

83.48

暂未公开
7

提供者:ChangeBio

暂未公开
batch数据为128,循环次数为3000次,损失函数优化完,最终完成评分为82.03。

2019-05-12 19:22:39

82.03

暂未公开
8

提供者:未名湖畔的落叶

暂未公开
batch数据为128,循环次数为5次,损失函数优化完,最终完成评分为82。

2019-07-12 19:01:37

82.00

暂未公开
9

提供者:彼得·帕克

暂未公开
batch数据为50,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-10 21:34:09

81.99

暂未公开
10

提供者:Bin

暂未公开
batch数据为64,循环次数为10000次,损失函数优化完,最终完成评分为81.99。

2019-05-12 01:25:47

81.99

暂未公开
11

提供者:天才一小本

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.99。

2019-05-13 16:07:58

81.99

暂未公开
12

提供者:流浪的星星

暂未公开
batch数据为32,循环次数为64次,损失函数优化完,最终完成评分为81.99。

2019-05-14 15:07:44

81.99

暂未公开
13

提供者:DDBG

暂未公开
batch数据为64,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-14 17:48:35

81.99

暂未公开
14

提供者:普六茹那罗延

暂未公开
batch数据为64,循环次数为4000次,损失函数优化完,最终完成评分为81.99。

2019-05-14 21:40:17

81.99

暂未公开
15

提供者:菜菜来了

暂未公开
batch数据为16,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-16 19:01:01

81.99

暂未公开
16

提供者:Frank1554103461

暂未公开
batch数据为64,循环次数为3000次,损失函数优化完,最终完成评分为81.99。

2019-05-17 05:52:32

81.99

暂未公开
17

提供者:malena

暂未公开
batch数据为16,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-18 19:39:28

81.99

暂未公开
18

提供者:sixgod

暂未公开
batch数据为16,循环次数为32次,损失函数优化完,最终完成评分为81.99。

2019-05-19 16:42:11

81.99

暂未公开
19

提供者:盼盼1558167739

暂未公开
batch数据为32,循环次数为320次,损失函数优化完,最终完成评分为81.99。

2019-05-20 22:06:29

81.99

暂未公开
20

提供者:huaiandaieren

暂未公开
batch数据为64,循环次数为5000次,损失函数优化完,最终完成评分为81.99。

2019-05-22 19:06:05

81.99

暂未公开
21

提供者:Daiccccc

暂未公开
batch数据为40,循环次数为5000次,损失函数优化完,最终完成评分为81.99。

2019-05-24 15:15:29

81.99

暂未公开
22

提供者:x

暂未公开
batch数据为32,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-06-01 20:36:37

81.99

暂未公开
23

提供者:阿良

暂未公开
batch数据为62,循环次数为2次,损失函数优化完,最终完成评分为81.99。

2019-06-05 11:59:14

81.99

暂未公开
24

提供者:我吃定了这第一

暂未公开
batch数据为32,循环次数为1500次,损失函数优化完,最终完成评分为81.99。

2019-06-09 04:58:56

81.99

暂未公开
25

提供者:侠

暂未公开
batch数据为64,循环次数为100次,损失函数优化完,最终完成评分为81.99。

2019-06-10 14:34:49

81.99

暂未公开
26

提供者:Sun.R@in

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.99。

2019-06-14 16:07:56

81.99

暂未公开
27

提供者:德鲁

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.99。

2019-06-18 09:20:52

81.99

暂未公开
28

提供者:是眼缘不是演员

暂未公开
batch数据为32,循环次数为32次,损失函数优化完,最终完成评分为81.99。

2019-06-19 23:34:58

81.99

暂未公开
29

提供者:朱!倩倩

暂未公开
batch数据为50,循环次数为200次,损失函数优化完,最终完成评分为81.99。

2019-07-20 10:10:36

81.99

暂未公开
30

提供者:李昌群

暂未公开
batch数据为16,循环次数为60次,损失函数优化完,最终完成评分为81.99。

2019-07-23 08:43:21

81.99

暂未公开
31

提供者:C

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.7。

2019-05-27 15:19:13

81.70

暂未公开
32

提供者:lyming

暂未公开
batch数据为32,循环次数为1000次,损失函数优化完,最终完成评分为81.57。

2019-05-10 20:06:36

81.57

暂未公开
33

提供者:chris_zhang

暂未公开
batch数据为64,循环次数为100次,损失函数优化完,最终完成评分为68.26。

2019-06-18 20:09:12

68.26

暂未公开
34

提供者:明

暂未公开
batch数据为64,循环次数为3次,损失函数优化完,最终完成评分为42.89。

2019-08-12 19:54:53

42.89

暂未公开
35

提供者:一梦南柯

暂未公开
batch数据为32,循环次数为32次,损失函数优化完,最终完成评分为18.02。

2019-06-19 21:39:53

18.02

暂未公开
36

提供者:digger

暂未公开
batch数据为16,循环次数为3000次,损失函数优化完,最终完成评分为18.01。

2019-05-10 18:43:50

18.01

暂未公开
第一名
李昌群 2019-08-29 02:51:31
2019-08-29 02:51:31
85.43
第二名
yphacker 2019-08-22 15:59:05
2019-08-22 15:59:05
82.44
第三名
天才一小本 2019-08-21 04:14:35
2019-08-21 04:14:35
81.99
4
Tulipa 2019-08-22 23:27:41
2019-08-22 23:27:41
81.99
5
cl 2019-08-25 00:02:33
2019-08-25 00:02:33
81.99
6
梦想家 2019-09-10 20:15:38
2019-09-10 20:15:38
81.99
7
早餐奶 2019-09-12 10:21:05
2019-09-12 10:21:05
81.99

挑战者大赛 官方交流群

训练记录

你还没有任何提交记录喔...

使用指南

  • windows客户端
  • windows命令行
  • Mac/Linux
1. 下载项目并解压
2.进入到项目目录下,双击执行flyai.exe程序

第一次使用需要使用微信扫码登录

杀毒软件可能会误报,点击信任该程序即可

3.本地开发调试

运行flyai.exe程序,点击"本地调试"按钮,输入循环次数和数据量,点击运行即可调用main.py

如果使用本地IDE开发,需要执行安装“flyai”依赖并导入项目,运行main.py

4.下载本地测试数据

运行flyai.exe程序,点击"下载数据"按钮,程序会下载100条调试数据

5.提交训练到GPU

运行flyai.exe程序,点击"提交到GPU"按钮,输入循环次数和数据量,点击运行即可提交到GPU训练。

返回sucess状态,代表提交离线训练成功

训练结束会以微信和邮件的形式发送结果通知

1. 下载项目并解压
2. 打开运行,输入cmd,打开终端

Win+R 输入cmd

3. 使用终端进入到项目的根目录下

首先进入到项目对应的磁盘中,然后执行

cd path\to\project

Windows用户使用 flyai.exe

4. 本地开发调试

执行下列命令本地安装环境并调试(第一次使用需要使用微信扫码登录)

flyai.exe test

执行test命令,会自动下载100条测试数据到项目下

安装项目所需依赖,并运行 main.py

如果使用本地IDE开发,可以自行安装 requirements.txt 中的依赖,运行 main.py 即可

5.提交训练到GPU

项目中如有新的引用,需加入到 requirements.txt 文件中

在终端下执行

flyai.exe train

返回sucess状态,代表提交离线训练成功

训练结束会以微信和邮件的形式发送结果通知

完整训练设置执行代码示例:

flyai.exe train -b=32 -e=100

通过执行训练命令,本次训练循环 100 次,每次训练读取的数据量为 32 。

1. 下载项目并解压
2. 使用终端进入到项目的根目录下

cd /path/to/project

Mac和Linux用户使用 ./flyai 脚本文件

3. 初始化环境并登录

授权flyai脚本

chmod +x ./flyai

4. 本地开发调试

执行下列命令本地安装环境并调试(第一次使用需要使用微信扫码登录)

./flyai test 注意:命令前面不要加sudo

执行test命令,会自动下载100条测试数据到项目下

安装项目所需依赖,并运行 main.py

如果使用本地IDE开发,可以自行安装 requirements.txt 中的依赖,运行 main.py 即可

5.提交训练到GPU

项目中如有新的引用,需加入到 requirements.txt 文件中

在终端下执行

./flyai train 注意:命令前面不要加sudo

返回sucess状态,代表提交离线训练成功

训练结束会以微信和邮件的形式发送结果通知

完整训练设置执行代码示例:

./flyai train -b=32 -e=100

通过执行训练命令,本次训练循环 100 次,每次训练读取的数据量为 32 。

$vue{ errorTip }

发送样例至我的邮箱

已发送

已发送成功

请查收FlyAI官方邮件查看详情 根据样例提高算法评分可以获得积分奖励 用来兑换GPU训练时长

确定

$vue{flag?'报名成功!':'参赛温馨提示'}

感谢您的参与!点击 下载资料 并及时提交您的作品

您在当前领域能力值未达到参赛标准,
请选择符合能力标准的项目哦!

下载资料

打开微信,使用扫一扫功能分享给好友

绑定你的微信账号

用于本地环境登录和实时接收训练通知