ATEC-问题相似度计算练习赛(内置BERT)

分享给好友

报名参赛

体验云端免费GPU极速训练,还能赢奖⾦!

报名参赛

大赛简介

ATEC-问题相似度计算是由蚂蚁金服主办的赛题,在智能客服业务场景中提升用户体验、高效问题匹配、减轻客服压力等方面具有重要的价值。

基于对问题相似度计算研究,FlyAI为优秀的算法研究者提供此类赛题并通过FlyAI训练框架内置Google BERT 预训练模型。以客服业务为切入点,与大家一起探讨在自然语言处理领域的研究价值、普惠金融领域的商业发展价值。

Google BERT简介:2018年谷歌AI团队新发布的BERT模型,在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越人类,并且还在11种不同NLP测试中创出最佳成绩,包括将GLUE基准推至80.4%(绝对改进7.6%),MultiNLI准确度达到86.7% (绝对改进率5.6%)等。

赛事主题和数据说明

赛题描述

通过实现算法并提交训练,获取奖金池奖金。小提示:抢先更新算法排行榜,有更大机会获取高额奖金哦!

数据来源

ATEC

数据描述

由于需要提交代码作品在云端进行训练,参赛数据集不对外开放。仅提供调试数据,可通过使用本地调试的方式获取调试数据集。本地调试和提交指南请查看[文档中心]

字段说明:

字段名 字段类型 取值区间 字段描述
id int 不为空 序号
texta string 不为空 文本1
textb string 不为空 文本2
label int 不为空 分类标签

输入字段: texta, textb,

输出字段: label,

参考文献:

[1]atec-text-similarity

[2]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

评审标准

评审指标说明

  • 准确率(Accuracy):对于给定的测试数据集,预测正确的样本数与实际总样本数之比
  • True,表示预测正确的样本数数量
  • Total Number of Samples,表示实际总样本数数量
  • 计算公式如下:

展开

  • 竞赛排行榜
  • 自由练习榜单
第三名

提供者:Notturno

大神经验
batch数据为32,循环次数为20次,损失函数优化完,最终完成评分为85.68。

2019-07-22 17:08:48

85.68

大神经验
第三名

提供者:444444

大神经验
batch数据为48,循环次数为5000次,损失函数优化完,最终完成评分为85.66。

2019-06-04 17:50:48

85.66

大神经验
第三名

提供者:NLP-Learner

暂未公开
batch数据为100,循环次数为6次,损失函数优化完,最终完成评分为85.42。

2019-06-05 15:25:48

85.42

暂未公开
4

提供者:丶人狠话不多

暂未公开
batch数据为48,循环次数为3000次,损失函数优化完,最终完成评分为85.28。

2019-05-27 12:54:28

85.28

暂未公开
5

提供者:云中漫步的云彩

大神经验
batch数据为64,循环次数为5000次,损失函数优化完,最终完成评分为85.15。

2019-05-25 16:05:23

85.15

大神经验
6

提供者:麦小杨

暂未公开
batch数据为256,循环次数为1次,损失函数优化完,最终完成评分为83.48。

2019-07-15 09:53:59

83.48

暂未公开
7

提供者:ChangeBio

暂未公开
batch数据为128,循环次数为3000次,损失函数优化完,最终完成评分为82.03。

2019-05-12 19:22:39

82.03

暂未公开
8

提供者:未名湖畔的落叶

暂未公开
batch数据为128,循环次数为5次,损失函数优化完,最终完成评分为82。

2019-07-12 19:01:37

82.00

暂未公开
9

提供者:彼得·帕克

暂未公开
batch数据为50,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-10 21:34:09

81.99

暂未公开
10

提供者:Bin

暂未公开
batch数据为64,循环次数为10000次,损失函数优化完,最终完成评分为81.99。

2019-05-12 01:25:47

81.99

暂未公开
11

提供者:天才一小本

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.99。

2019-05-13 16:07:58

81.99

暂未公开
12

提供者:流浪的星星

暂未公开
batch数据为32,循环次数为64次,损失函数优化完,最终完成评分为81.99。

2019-05-14 15:07:44

81.99

暂未公开
13

提供者:DDBG

暂未公开
batch数据为64,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-14 17:48:35

81.99

暂未公开
14

提供者:普六茹那罗延

暂未公开
batch数据为64,循环次数为4000次,损失函数优化完,最终完成评分为81.99。

2019-05-14 21:40:17

81.99

暂未公开
15

提供者:菜菜来了

暂未公开
batch数据为16,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-16 19:01:01

81.99

暂未公开
16

提供者:Frank1554103461

暂未公开
batch数据为64,循环次数为3000次,损失函数优化完,最终完成评分为81.99。

2019-05-17 05:52:32

81.99

暂未公开
17

提供者:malena

暂未公开
batch数据为16,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-18 19:39:28

81.99

暂未公开
18

提供者:sixgod

暂未公开
batch数据为16,循环次数为32次,损失函数优化完,最终完成评分为81.99。

2019-05-19 16:42:11

81.99

暂未公开
19

提供者:盼盼1558167739

暂未公开
batch数据为32,循环次数为320次,损失函数优化完,最终完成评分为81.99。

2019-05-20 22:06:29

81.99

暂未公开
20

提供者:huaiandaieren

暂未公开
batch数据为64,循环次数为5000次,损失函数优化完,最终完成评分为81.99。

2019-05-22 19:06:05

81.99

暂未公开
21

提供者:Daiccccc

暂未公开
batch数据为40,循环次数为5000次,损失函数优化完,最终完成评分为81.99。

2019-05-24 15:15:29

81.99

暂未公开
22

提供者:x

暂未公开
batch数据为32,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-06-01 20:36:37

81.99

暂未公开
23

提供者:阿良

暂未公开
batch数据为62,循环次数为2次,损失函数优化完,最终完成评分为81.99。

2019-06-05 11:59:14

81.99

暂未公开
24

提供者:我吃定了这第一

暂未公开
batch数据为32,循环次数为1500次,损失函数优化完,最终完成评分为81.99。

2019-06-09 04:58:56

81.99

暂未公开
25

提供者:侠

暂未公开
batch数据为64,循环次数为100次,损失函数优化完,最终完成评分为81.99。

2019-06-10 14:34:49

81.99

暂未公开
26

提供者:Sun.R@in

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.99。

2019-06-14 16:07:56

81.99

暂未公开
27

提供者:德鲁

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.99。

2019-06-18 09:20:52

81.99

暂未公开
28

提供者:是眼缘不是演员

暂未公开
batch数据为32,循环次数为32次,损失函数优化完,最终完成评分为81.99。

2019-06-19 23:34:58

81.99

暂未公开
29

提供者:朱!倩倩

暂未公开
batch数据为50,循环次数为200次,损失函数优化完,最终完成评分为81.99。

2019-07-20 10:10:36

81.99

暂未公开
30

提供者:李昌群

暂未公开
batch数据为16,循环次数为60次,损失函数优化完,最终完成评分为81.99。

2019-07-23 08:43:21

81.99

暂未公开
31

提供者:C

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.7。

2019-05-27 15:19:13

81.70

暂未公开
32

提供者:lyming

暂未公开
batch数据为32,循环次数为1000次,损失函数优化完,最终完成评分为81.57。

2019-05-10 20:06:36

81.57

暂未公开
33

提供者:chris_zhang

暂未公开
batch数据为64,循环次数为100次,损失函数优化完,最终完成评分为68.26。

2019-06-18 20:09:12

68.26

暂未公开
34

提供者:明

暂未公开
batch数据为64,循环次数为3次,损失函数优化完,最终完成评分为42.89。

2019-08-12 19:54:53

42.89

暂未公开
35

提供者:一梦南柯

暂未公开
batch数据为32,循环次数为32次,损失函数优化完,最终完成评分为18.02。

2019-06-19 21:39:53

18.02

暂未公开
36

提供者:gboy

暂未公开
batch数据为16,循环次数为3000次,损失函数优化完,最终完成评分为18.01。

2019-05-10 18:43:50

18.01

暂未公开
第一名
李昌群 2019-10-31 02:21:07
2019-10-31 02:21:07
85.67
第二名
yphacker 2019-08-22 15:59:05
2019-08-22 15:59:05
82.44
第三名
天才一小本 2019-08-21 04:14:35
2019-08-21 04:14:35
81.99
4
Tulipa 2019-08-22 23:27:41
2019-08-22 23:27:41
81.99
5
cl 2019-08-25 00:02:33
2019-08-25 00:02:33
81.99
6
梦想家 2019-09-10 20:15:38
2019-09-10 20:15:38
81.99
7
早餐奶 2019-09-12 10:21:05
2019-09-12 10:21:05
81.99
8
向凌阳 2019-09-22 16:12:55
2019-09-22 16:12:55
81.99
9
此方一泉 2019-09-25 17:10:18
2019-09-25 17:10:18
81.99
10
EndlessLethe 2019-10-07 00:11:31
2019-10-07 00:11:31
81.99
11
远方1570513997 2019-10-09 13:18:10
2019-10-09 13:18:10
81.99
12
天雨龙马 2019-10-14 22:58:33
2019-10-14 22:58:33
81.99
13
郑行 2019-10-16 16:24:45
2019-10-16 16:24:45
81.99
14
许稳堂 2019-10-21 12:05:01
2019-10-21 12:05:01
81.99
15
rairu 2019-11-13 10:00:39
2019-11-13 10:00:39
81.99
16
路通 2019-11-14 14:52:18
2019-11-14 14:52:18
81.99
17
2019-11-22 14:15:02
2019-11-22 14:15:02
81.99
18
赵勇 2019-11-25 09:09:08
2019-11-25 09:09:08
81.99
19
xxl 2019-11-29 09:43:11
2019-11-29 09:43:11
81.99
20
charlenellll 2019-12-03 18:02:18
2019-12-03 18:02:18
81.99

挑战者大赛 官方交流群

训练记录

你还没有任何提交记录喔...

使用指南

  • windows客户端
  • windows命令行
  • Mac/Linux

1.进入代码编辑页下载当前代码

2.打开运行,输入cmd,打开终端

Win+R 输入 cmd

3.使用终端进入到项目的根目录下

cd path\to\project

4.开启 FlyAI-Jupyter 代码调试环境

在终端执行命令 flyai.exe ide 打开调试环境

操作过程有延迟,请耐心等待

运行 run main.py 命令即可在本地训练调试代码

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !flyai.exe train 将代码提交到云端GPU免费训练

返回sucess状态,代表提交离线训练成功

训练结束会以微信和邮件的形式发送结果通知

6.下载本地测试数据

首次成功执行本地调试命令后,将在本地代码包中自动生成"data"数据集文件夹

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.本地解压缩代码包文件,双击执行 flyai.exe 程序

第一次使用需要使用微信扫码登录 杀毒软件可能会误报,点击信任该程序即可

3.开启 FlyAI-Jupyter 代码调试环境

运行flyai.exe程序,点击"使用jupyter调试"按钮自动打开jupyter notebook 操作界面

运行 run main.py 命令即可在本地训练调试代码

4.下载本地测试数据

运行flyai.exe程序,点击"下载数据"按钮,程序会下载100条调试数据

5.提交训练到GPU

运行flyai.exe程序,点击"提交GPU训练"按钮,代码将自动提交到云端GPU进行训练

返回sucess状态,代表提交离线训练成功

训练结束会以微信和邮件的形式发送结果通知

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.使用终端进入到项目的根目录下

cd path\to\project

3.初始化环境登录

使用如下命令授权 flyai 脚本: chmod +x ./flyai

4.开启 FlyAI-Jupyter 代码调试环境

在终端执行命令 ./flyai ide 打开调试环境 操作过程有延迟,请耐心等待 运行 run main.py 命令即可在本地训练调试代码

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !flyai.exe train 将代码提交到云端GPU免费训练 返回sucess状态,代表提交离线训练成功 训练结束会以微信和邮件的形式发送结果通知

6.下载本地测试数据

首次成功执行本地调试命令后,将在本地代码包中自动生成"data"数据集文件夹

更多参赛帮助请查看文档中心

$vue{ errorTip }

发送样例至我的邮箱

已发送

已发送成功

请查收FlyAI官方邮件查看详情 根据样例提高算法评分可以获得积分奖励 用来兑换GPU训练时长

确定

$vue{flag?'报名成功!':'参赛温馨提示'}

通过迭代赛题的样例代码提高模型准确率哦~
准确率越高,奖励越丰富!

查看样例代码

⼤神你好!当前能⼒值⽆法参加新⼿手赛

多给新手一些机会哦~

查看样例代码

打开微信,使用扫一扫功能分享给好友

绑定你的微信账号

用于本地环境登录和实时接收训练通知
参赛提示


申请参赛资格请扫描上方二维码联系FlyAI客服

当前赛题您未在 24小时内 报名参加
参赛资格已失效,如有疑问请联系FlyAI客服

当前赛题您未在 48小时内 提交有效成绩
参赛资格已失效,如有疑问请联系FlyAI客服

参加其他比赛
提交结果文件
提示:每次提交需消耗 100 FAI

仅支持上传 CSV 格式的文件

$vue{csvName}上传成功
取消 确认提交

评估成绩得分

$vue{csv_data.score}
$vue{csv_data.lable}
关闭结果