ATEC-问题相似度计算练习赛（内置BERT）

分享给好友

报名参赛

体验云端免费GPU极速训练，还能赢奖⾦!

报名参赛

大赛简介

ATEC-问题相似度计算是由蚂蚁金服主办的赛题，在智能客服业务场景中提升用户体验、高效问题匹配、减轻客服压力等方面具有重要的价值。

基于对问题相似度计算研究，FlyAI为优秀的算法研究者提供此类赛题并通过FlyAI训练框架内置Google BERT 预训练模型。以客服业务为切入点，与大家一起探讨在自然语言处理领域的研究价值、普惠金融领域的商业发展价值。

Google BERT简介：2018年谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等。

赛事主题和数据说明

赛题描述

通过实现算法并提交训练，获取奖金池奖金。小提示：抢先更新算法排行榜，有更大机会获取高额奖金哦！

数据来源

ATEC

数据描述

由于需要提交代码作品在云端进行训练，参赛数据集不对外开放。仅提供调试数据，可通过使用本地调试的方式获取调试数据集。本地调试和提交指南请查看[文档中心]

字段说明：

字段名 字段类型 取值区间 字段描述
id int 不为空 序号
texta string 不为空 文本1
textb string 不为空 文本2
label int 不为空 分类标签

输入字段： texta, textb,

输出字段： label,

参考文献：

[1]atec-text-similarity

[2]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

评审标准

评审指标说明

  • 准确率（Accuracy）：对于给定的测试数据集，预测正确的样本数与实际总样本数之比
  • True，表示预测正确的样本数数量
  • Total Number of Samples，表示实际总样本数数量
  • 计算公式如下：

展开

  • 竞赛排行榜
  • 自由练习榜单
第三名

提供者：Notturno

大神经验
batch数据为32，循环次数为20次，损失函数优化完，最终完成评分为85.68。

PyTorch

BERT

2019-07-22 17:08:48

85.68

大神经验
第三名

提供者：444444

大神经验
batch数据为48，循环次数为5000次，损失函数优化完，最终完成评分为85.66。

TensorFlow

BERT

2019-06-04 17:50:48

85.66

大神经验
第三名

提供者：NLP-Learner

暂未公开
batch数据为100，循环次数为6次，损失函数优化完，最终完成评分为85.42。

TensorFlow

BERT

2019-06-05 15:25:48

85.42

暂未公开
4

提供者：丶人狠话不多

暂未公开
batch数据为48，循环次数为3000次，损失函数优化完，最终完成评分为85.28。

TensorFlow

BERT

2019-05-27 12:54:28

85.28

暂未公开
5

提供者：云中漫步的云彩

大神经验
batch数据为64，循环次数为5000次，损失函数优化完，最终完成评分为85.15。

TensorFlow

BERT

2019-05-25 16:05:23

85.15

大神经验
6

提供者：麦小杨

暂未公开
batch数据为256，循环次数为1次，损失函数优化完，最终完成评分为83.48。

PyTorch

BERT

2019-07-15 09:53:59

83.48

暂未公开
7

提供者：ChangeBio

暂未公开
batch数据为128，循环次数为3000次，损失函数优化完，最终完成评分为82.03。

TensorFlow

BERT

2019-05-12 19:22:39

82.03

暂未公开
8

提供者：未名湖畔的落叶

暂未公开
batch数据为128，循环次数为5次，损失函数优化完，最终完成评分为82。

PyTorch

LSTM

2019-07-12 19:01:37

82.00

暂未公开
9

提供者：彼得·帕克

暂未公开
batch数据为50，循环次数为2000次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-10 21:34:09

81.99

暂未公开
10

提供者：Bin

暂未公开
batch数据为64，循环次数为10000次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-12 01:25:47

81.99

暂未公开
11

提供者：天才一小本

暂未公开
batch数据为32，循环次数为10次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-13 16:07:58

81.99

暂未公开
12

提供者：流浪的星星

暂未公开
batch数据为32，循环次数为64次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-14 15:07:44

81.99

暂未公开
13

提供者：DDBG

暂未公开
batch数据为64，循环次数为2000次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-14 17:48:35

81.99

暂未公开
14

提供者：普六茹那罗延

暂未公开
batch数据为64，循环次数为4000次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-14 21:40:17

81.99

暂未公开
15

提供者：菜菜来了

暂未公开
batch数据为16，循环次数为2000次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-16 19:01:01

81.99

暂未公开
16

提供者：Frank1554103461

暂未公开
batch数据为64，循环次数为3000次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-17 05:52:32

81.99

暂未公开
17

提供者：malena

暂未公开
batch数据为16，循环次数为2000次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-18 19:39:28

81.99

暂未公开
18

提供者：sixgod

暂未公开
batch数据为16，循环次数为32次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-19 16:42:11

81.99

暂未公开
19

提供者：盼盼1558167739

暂未公开
batch数据为32，循环次数为320次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-20 22:06:29

81.99

暂未公开
20

提供者：huaiandaieren

暂未公开
batch数据为64，循环次数为5000次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-22 19:06:05

81.99

暂未公开
21

提供者：Daiccccc

暂未公开
batch数据为40，循环次数为5000次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-05-24 15:15:29

81.99

暂未公开
22

提供者：x

暂未公开
batch数据为32，循环次数为2000次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-06-01 20:36:37

81.99

暂未公开
23

提供者：阿良

暂未公开
batch数据为62，循环次数为2次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-06-05 11:59:14

81.99

暂未公开
24

提供者：我吃定了这第一

暂未公开
batch数据为32，循环次数为1500次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-06-09 04:58:56

81.99

暂未公开
25

提供者：侠

暂未公开
batch数据为64，循环次数为100次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-06-10 14:34:49

81.99

暂未公开
26

提供者：Sun.R@in

暂未公开
batch数据为32，循环次数为10次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-06-14 16:07:56

81.99

暂未公开
27

提供者：德鲁

暂未公开
batch数据为32，循环次数为10次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-06-18 09:20:52

81.99

暂未公开
28

提供者：是眼缘不是演员

暂未公开
batch数据为32，循环次数为32次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-06-19 23:34:58

81.99

暂未公开
29

提供者：朱！倩倩

暂未公开
batch数据为50，循环次数为200次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-07-20 10:10:36

81.99

暂未公开
30

提供者：李昌群

暂未公开
batch数据为16，循环次数为60次，损失函数优化完，最终完成评分为81.99。

TensorFlow

BERT

2019-07-23 08:43:21

81.99

暂未公开
31

提供者：C

暂未公开
batch数据为32，循环次数为10次，损失函数优化完，最终完成评分为81.7。

TensorFlow

BERT

2019-05-27 15:19:13

81.70

暂未公开
32

提供者：lyming

暂未公开
batch数据为32，循环次数为1000次，损失函数优化完，最终完成评分为81.57。

TensorFlow

BERT

2019-05-10 20:06:36

81.57

暂未公开
33

提供者：chris_zhang

暂未公开
batch数据为64，循环次数为100次，损失函数优化完，最终完成评分为68.26。

TensorFlow

BERT

2019-06-18 20:09:12

68.26

暂未公开
34

提供者：明

暂未公开
batch数据为64，循环次数为3次，损失函数优化完，最终完成评分为42.89。

TensorFlow

BERT

2019-08-12 19:54:53

42.89

暂未公开
35

提供者：一梦南柯

暂未公开
batch数据为32，循环次数为32次，损失函数优化完，最终完成评分为18.02。

TensorFlow

BERT

2019-06-19 21:39:53

18.02

暂未公开
36

提供者：gboy

暂未公开
batch数据为16，循环次数为3000次，损失函数优化完，最终完成评分为18.01。

TensorFlow

BERT

2019-05-10 18:43:50

18.01

暂未公开
第一名
李昌群 2019-10-31 02:21:07
2019-10-31 02:21:07
85.67
第二名
yphacker 2019-08-22 15:59:05
2019-08-22 15:59:05
82.44
第三名
天才一小本 2019-08-21 04:14:35
2019-08-21 04:14:35
81.99
4
Tulipa 2019-08-22 23:27:41
2019-08-22 23:27:41
81.99
5
cl 2019-08-25 00:02:33
2019-08-25 00:02:33
81.99
6
梦想家 2019-09-10 20:15:38
2019-09-10 20:15:38
81.99
7
早餐奶 2019-09-12 10:21:05
2019-09-12 10:21:05
81.99
8
向凌阳 2019-09-22 16:12:55
2019-09-22 16:12:55
81.99
9
此方一泉 2019-09-25 17:10:18
2019-09-25 17:10:18
81.99
10
EndlessLethe 2019-10-07 00:11:31
2019-10-07 00:11:31
81.99
11
远方1570513997 2019-10-09 13:18:10
2019-10-09 13:18:10
81.99
12
天雨龙马 2019-10-14 22:58:33
2019-10-14 22:58:33
81.99
13
郑行 2019-10-16 16:24:45
2019-10-16 16:24:45
81.99
14
许稳堂 2019-10-21 12:05:01
2019-10-21 12:05:01
81.99
15
rairu 2019-11-13 10:00:39
2019-11-13 10:00:39
81.99
16
路通 2019-11-14 14:52:18
2019-11-14 14:52:18
81.99
17
普 2019-11-22 14:15:02
2019-11-22 14:15:02
81.99
18
赵勇 2019-11-25 09:09:08
2019-11-25 09:09:08
81.99
19
xxl 2019-11-29 09:43:11
2019-11-29 09:43:11
81.99
20
charlenellll 2019-12-03 18:02:18
2019-12-03 18:02:18
81.99

挑战者大赛 官方交流群

请使用微信扫一扫功能，扫描二维码添加工作人员微信添加请备注"大赛主题名称"

使用预训练模型

训练记录

你还没有任何提交记录喔...

使用指南

  • windows客户端
  • windows命令行
  • Mac/Linux

1.进入代码编辑页下载当前代码

2.打开运行，输入cmd，打开终端

Win+R 输入 cmd

3.使用终端进入到项目的根目录下

cd path\to\project

4.开启 FlyAI-Jupyter 代码调试环境

在终端执行命令 flyai.exe ide 打开调试环境

操作过程有延迟，请耐心等待

运行 run main.py 命令即可在本地训练调试代码

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !flyai.exe train 将代码提交到云端GPU免费训练

返回sucess状态，代表提交离线训练成功

训练结束会以微信和邮件的形式发送结果通知

6.下载本地测试数据

首次成功执行本地调试命令后，将在本地代码包中自动生成"data"数据集文件夹

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.本地解压缩代码包文件，双击执行 flyai.exe 程序

第一次使用需要使用微信扫码登录 杀毒软件可能会误报，点击信任该程序即可

3.开启 FlyAI-Jupyter 代码调试环境

运行flyai.exe程序，点击"使用jupyter调试"按钮自动打开jupyter notebook 操作界面

运行 run main.py 命令即可在本地训练调试代码

4.下载本地测试数据

运行flyai.exe程序，点击"下载数据"按钮，程序会下载100条调试数据

5.提交训练到GPU

运行flyai.exe程序，点击"提交GPU训练"按钮，代码将自动提交到云端GPU进行训练

返回sucess状态，代表提交离线训练成功

训练结束会以微信和邮件的形式发送结果通知

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.使用终端进入到项目的根目录下

cd path\to\project

3.初始化环境登录

使用如下命令授权 flyai 脚本： chmod +x ./flyai

4.开启 FlyAI-Jupyter 代码调试环境

在终端执行命令 ./flyai ide 打开调试环境 操作过程有延迟，请耐心等待 运行 run main.py 命令即可在本地训练调试代码

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !flyai.exe train 将代码提交到云端GPU免费训练 返回sucess状态，代表提交离线训练成功 训练结束会以微信和邮件的形式发送结果通知

6.下载本地测试数据

首次成功执行本地调试命令后，将在本地代码包中自动生成"data"数据集文件夹

更多参赛帮助请查看文档中心

$vue{ errorTip }

发送样例至我的邮箱

已发送

已发送成功

请查收FlyAI官方邮件查看详情 根据样例提高算法评分可以获得积分奖励 用来兑换GPU训练时长

确定

$vue{flag?'报名成功！':'参赛温馨提示'}

通过迭代赛题的样例代码提高模型准确率哦～
准确率越高，奖励越丰富！

查看样例代码

⼤神你好!当前能⼒值⽆法参加新⼿手赛

多给新手一些机会哦~

查看样例代码

打开微信，使用扫一扫功能分享给好友

https://www.flyai.com/d/ATEC

复制链接

绑定你的微信账号

用于本地环境登录和实时接收训练通知
参赛提示


申请参赛资格请扫描上方二维码联系FlyAI客服

当前赛题您未在 24小时内 报名参加
参赛资格已失效，如有疑问请联系FlyAI客服

当前赛题您未在 48小时内 提交有效成绩
参赛资格已失效，如有疑问请联系FlyAI客服

参加其他比赛
提交结果文件
提示：每次提交需消耗 100 FAI

仅支持上传 CSV 格式的文件

$vue{csvName}上传成功
取消 确认提交

评估成绩得分

$vue{csv_data.score}
$vue{csv_data.lable}
关闭结果