ATEC-问题相似度计算练习赛(内置BERT)

分享给好友

报名参赛

体验云端免费GPU极速训练,还能赢奖⾦!

报名参赛

大赛简介

ATEC-问题相似度计算是由蚂蚁金服主办的赛题,在智能客服业务场景中提升用户体验、高效问题匹配、减轻客服压力等方面具有重要的价值。

基于对问题相似度计算研究,FlyAI为优秀的算法研究者提供此类赛题并通过FlyAI训练框架内置Google BERT 预训练模型。以客服业务为切入点,与大家一起探讨在自然语言处理领域的研究价值、普惠金融领域的商业发展价值。

Google BERT简介:2018年谷歌AI团队新发布的BERT模型,在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越人类,并且还在11种不同NLP测试中创出最佳成绩,包括将GLUE基准推至80.4%(绝对改进7.6%),MultiNLI准确度达到86.7% (绝对改进率5.6%)等。

赛事主题和数据说明

赛题描述

通过实现算法并提交训练,获取奖金池奖金。小提示:抢先更新算法排行榜,有更大机会获取高额奖金哦!

数据来源

ATEC

数据描述

由于需要提交代码作品在云端进行训练,参赛数据集不对外开放。仅提供调试数据,可通过使用本地调试的方式获取调试数据集。本地调试和提交指南请查看[文档中心]

字段说明:

文件名 字段名称 字段类型 备注
id int 不为空 序号
texta string 不为空 文本1
textb string 不为空 文本2
label int 不为空 分类标签

参考文献:

[1]atec-text-similarity

[2]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

评审标准

算法输入输出格式

输入字段: texta, textb,

输出字段: label,

评审指标说明

  • 准确率(Accuracy):对于给定的测试数据集,预测正确的样本数与实际总样本数之比
  • True,表示预测正确的样本数数量
  • Total Number of Samples,表示实际总样本数数量
  • 计算公式如下:

展开

  • 竞赛排行榜
  • 自由练习榜单
超过 85分 的成绩会在48小时内更新到排行榜,不要着急哦!
第三名

提供者:Notturno

大神经验
batch数据为32,循环次数为20次,损失函数优化完,最终完成评分为85.68。

2019-07-22 17:08:48

大神经验
第三名

提供者:444444

大神经验
batch数据为48,循环次数为5000次,损失函数优化完,最终完成评分为85.66。

2019-06-04 17:50:48

1007.00

大神经验
第三名

提供者:NLP-Learner

暂未公开
batch数据为100,循环次数为6次,损失函数优化完,最终完成评分为85.42。

2019-06-05 15:25:48

602.50

暂未公开
4

提供者:丶人狠话不多

暂未公开
batch数据为48,循环次数为3000次,损失函数优化完,最终完成评分为85.28。

2019-05-27 12:54:28

406.00

暂未公开
5

提供者:云中漫步的云彩

大神经验
batch数据为64,循环次数为5000次,损失函数优化完,最终完成评分为85.15。

2019-05-25 16:05:23

233.00

大神经验
6

提供者:麦小杨

暂未公开
batch数据为256,循环次数为1次,损失函数优化完,最终完成评分为83.48。

2019-07-15 09:53:59

暂未公开
7

提供者:ChangeBio

暂未公开
batch数据为128,循环次数为3000次,损失函数优化完,最终完成评分为82.03。

2019-05-12 19:22:39

暂未公开
8

提供者:未名湖畔的落叶

暂未公开
batch数据为128,循环次数为5次,损失函数优化完,最终完成评分为82。

2019-07-12 19:01:37

暂未公开
9

提供者:彼得·帕克

暂未公开
batch数据为50,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-10 21:34:09

暂未公开
10

提供者:Bin

暂未公开
batch数据为64,循环次数为10000次,损失函数优化完,最终完成评分为81.99。

2019-05-12 01:25:47

暂未公开
11

提供者:天才一小本

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.99。

2019-05-13 16:07:58

暂未公开
12

提供者:流浪的星星

暂未公开
batch数据为32,循环次数为64次,损失函数优化完,最终完成评分为81.99。

2019-05-14 15:07:44

暂未公开
13

提供者:DDBG

暂未公开
batch数据为64,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-14 17:48:35

暂未公开
14

提供者:普六茹那罗延

暂未公开
batch数据为64,循环次数为4000次,损失函数优化完,最终完成评分为81.99。

2019-05-14 21:40:17

暂未公开
15

提供者:菜菜来了

暂未公开
batch数据为16,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-16 19:01:01

暂未公开
16

提供者:Frank1554103461

暂未公开
batch数据为64,循环次数为3000次,损失函数优化完,最终完成评分为81.99。

2019-05-17 05:52:32

暂未公开
17

提供者:malena

暂未公开
batch数据为16,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-05-18 19:39:28

暂未公开
18

提供者:sixgod

暂未公开
batch数据为16,循环次数为32次,损失函数优化完,最终完成评分为81.99。

2019-05-19 16:42:11

暂未公开
19

提供者:盼盼1558167739

暂未公开
batch数据为32,循环次数为320次,损失函数优化完,最终完成评分为81.99。

2019-05-20 22:06:29

暂未公开
20

提供者:huaiandaieren

暂未公开
batch数据为64,循环次数为5000次,损失函数优化完,最终完成评分为81.99。

2019-05-22 19:06:05

暂未公开
21

提供者:Daiccccc

暂未公开
batch数据为40,循环次数为5000次,损失函数优化完,最终完成评分为81.99。

2019-05-24 15:15:29

暂未公开
22

提供者:x

暂未公开
batch数据为32,循环次数为2000次,损失函数优化完,最终完成评分为81.99。

2019-06-01 20:36:37

暂未公开
23

提供者:阿良

暂未公开
batch数据为62,循环次数为2次,损失函数优化完,最终完成评分为81.99。

2019-06-05 11:59:14

暂未公开
24

提供者:我吃定了这第一

暂未公开
batch数据为32,循环次数为1500次,损失函数优化完,最终完成评分为81.99。

2019-06-09 04:58:56

暂未公开
25

提供者:侠

暂未公开
batch数据为64,循环次数为100次,损失函数优化完,最终完成评分为81.99。

2019-06-10 14:34:49

暂未公开
26

提供者:Sun.R@in

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.99。

2019-06-14 16:07:56

暂未公开
27

提供者:德鲁

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.99。

2019-06-18 09:20:52

暂未公开
28

提供者:是眼缘不是演员

暂未公开
batch数据为32,循环次数为32次,损失函数优化完,最终完成评分为81.99。

2019-06-19 23:34:58

暂未公开
29

提供者:朱!倩倩

暂未公开
batch数据为50,循环次数为200次,损失函数优化完,最终完成评分为81.99。

2019-07-20 10:10:36

暂未公开
30

提供者:李昌群

暂未公开
batch数据为16,循环次数为60次,损失函数优化完,最终完成评分为81.99。

2019-07-23 08:43:21

暂未公开
31

提供者:C

暂未公开
batch数据为32,循环次数为10次,损失函数优化完,最终完成评分为81.7。

2019-05-27 15:19:13

暂未公开
32

提供者:lyming

暂未公开
batch数据为32,循环次数为1000次,损失函数优化完,最终完成评分为81.57。

2019-05-10 20:06:36

暂未公开
33

提供者:chris_zhang

暂未公开
batch数据为64,循环次数为100次,损失函数优化完,最终完成评分为68.26。

2019-06-18 20:09:12

暂未公开
34

提供者:明

暂未公开
batch数据为64,循环次数为3次,损失函数优化完,最终完成评分为42.89。

2019-08-12 19:54:53

暂未公开
35

提供者:一梦南柯

暂未公开
batch数据为32,循环次数为32次,损失函数优化完,最终完成评分为18.02。

2019-06-19 21:39:53

暂未公开
36

提供者:gboy

暂未公开
batch数据为16,循环次数为3000次,损失函数优化完,最终完成评分为18.01。

2019-05-10 18:43:50

暂未公开
第一名
changli 2019-10-31 02:21:07
2019-10-31 02:21:07
85.67
第二名
yphacker 2019-08-22 15:59:05
2019-08-22 15:59:05
82.44
第三名
弱鸡瑟瑟发抖 2020-01-21 14:33:57
2020-01-21 14:33:57
82.25
4
天才一小本 2019-08-21 04:14:35
2019-08-21 04:14:35
81.99
5
Tulipa 2019-08-22 23:27:41
2019-08-22 23:27:41
81.99
6
cl 2019-08-25 00:02:33
2019-08-25 00:02:33
81.99
7
梦想家 2019-09-10 20:15:38
2019-09-10 20:15:38
81.99
8
早餐奶 2019-09-12 10:21:05
2019-09-12 10:21:05
81.99
9
向凌阳 2019-09-22 16:12:55
2019-09-22 16:12:55
81.99
10
此方一泉 2019-09-25 17:10:18
2019-09-25 17:10:18
81.99
11
EndlessLethe 2019-10-07 00:11:31
2019-10-07 00:11:31
81.99
12
远方1570513997 2019-10-09 13:18:10
2019-10-09 13:18:10
81.99
13
天雨龙马 2019-10-14 22:58:33
2019-10-14 22:58:33
81.99
14
郑行 2019-10-16 16:24:45
2019-10-16 16:24:45
81.99
15
许稳堂 2019-10-21 12:05:01
2019-10-21 12:05:01
81.99
16
rairu 2019-11-13 10:00:39
2019-11-13 10:00:39
81.99
17
路通 2019-11-14 14:52:18
2019-11-14 14:52:18
81.99
18
2019-11-22 14:15:02
2019-11-22 14:15:02
81.99
19
赵勇 2019-11-25 09:09:08
2019-11-25 09:09:08
81.99
20
xxl 2019-11-29 09:43:11
2019-11-29 09:43:11
81.99
21
charlenellll 2019-12-03 18:02:18
2019-12-03 18:02:18
81.99
22
wmqian 2019-12-15 10:18:46
2019-12-15 10:18:46
81.99
23
于斌 2020-03-13 17:53:01
2020-03-13 17:53:01
81.99

挑战者大赛 官方交流群

训练记录

你还没有任何提交记录喔...

使用指南

  • windows客户端
  • windows命令行
  • Mac/Linux

1.进入代码编辑页下载当前代码

2.本地解压缩代码包文件,双击执行 flyai.exe 程序

第一次使用需要使用微信扫码登录 杀毒软件可能会误报,点击信任该程序即可

3.开启 FlyAI-Jupyter 代码调试环境

运行flyai.exe程序,点击"使用jupyter调试"按钮自动打开jupyter lab 操作界面

运行 run main.py 命令即可在本地训练调试代码

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

4.下载本地测试数据

运行flyai.exe程序,点击"下载数据"按钮,程序会下载100条调试数据

5.提交训练到GPU

运行flyai.exe程序,点击"提交GPU训练"按钮,代码将自动提交到云端GPU进行训练

返回sucess状态,代表提交离线训练成功,训练结束会以微信和邮件的形式发送结果通知

项目中有新的Python包引用,必须在 requirements.txt 文件中指定包名,不填写版本号将默认安装最新版

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.打开运行,输入cmd,打开终端

Win+R 输入 cmd

3.使用终端进入到项目的根目录下

cd path\to\project

4.开启 FlyAI-Jupyter 代码调试环境

在终端执行命令 flyai.exe ide 打开调试环境(第一次使用需要使用微信扫码登录)

操作过程有延迟,请耐心等待

运行 run main.py 命令即可在本地训练调试代码

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !flyai.exe train 将代码提交到云端GPU免费训练

返回sucess状态,代表提交离线训练成功,训练结束会以微信和邮件的形式发送结果通知

项目中有新的Python包引用,必须在 requirements.txt 文件中指定包名,不填写版本号将默认安装最新版

6.下载本地测试数据

首次成功执行本地调试命令后,将在本地代码包中自动生成"data"数据集文件夹

7.使用自己的Python环境

flyai.exe path=xxx 可以设置自己的Python路径

flyai.exe path=flyai 恢复系统默认Pyton路径

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.使用终端进入到项目的根目录下

cd path\to\project

3.初始化环境登录

使用如下命令授权 flyai 脚本: chmod +x ./flyai

4.开启 Jupyter 代码调试环境

在终端执行命令 ./flyai ide 打开调试环境(第一次使用需要使用微信扫码登录) 操作过程有延迟,请耐心等待

运行 run main.py 命令即可在本地训练调试代码

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

或使用终端

执行下列命令本地安装环境并调试

./flyai test 注意:如果出现 permission denied 错误,需使用sudo运行

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

执行test命令,会自动下载100条测试数据到项目下

如果使用本地IDE开发,可以自行安装 requirements.txt 中的依赖,运行 main.py 即可

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !./flyai train 将代码提交到云端GPU免费训练 返回sucess状态,代表提交离线训练成功,训练结束会以微信和邮件的形式发送结果通知

或者在终端下使用 ./flyai train -b=32 -e=10

项目中有新的Python包引用,必须在 requirements.txt 文件中指定包名,不填写版本号将默认安装最新版

6.下载本地测试数据

首次成功执行本地调试命令后,将在本地代码包中自动生成"data"数据集文件夹

7.使用自己的Python环境

./flyai path=xxx 可以设置自己的Python路径

./flyai path=flyai 恢复系统默认Pyton路径

更多参赛帮助请查看文档中心

$vue{ errorTip }

发送样例至我的邮箱

已发送

已发送成功

请查收FlyAI官方邮件查看详情 根据样例提高算法评分可以获得积分奖励 用来兑换GPU训练时长

确定

$vue{flag?'报名成功!':'参赛温馨提示'}

通过迭代赛题的样例代码提高模型准确率哦~
准确率越高,奖励越丰富!

查看样例代码

⼤神你好!当前能⼒值⽆法参加新⼿手赛

多给新手一些机会哦~

查看样例代码

打开微信,使用扫一扫功能分享给好友

绑定你的微信账号

用于本地环境登录和实时接收训练通知
参赛提示


申请参赛资格请扫描上方二维码联系FlyAI客服

当前赛题您未在 24小时内 报名参加
参赛资格已失效,如有疑问请联系FlyAI客服

当前赛题您未在 48小时内 提交有效成绩
参赛资格已失效,如有疑问请联系FlyAI客服

参加其他比赛
提交结果文件
提示:每次提交需消耗 10 FAI

仅支持上传 CSV 格式的文件

$vue{csvName}上传成功
取消 确认提交

评估成绩得分

$vue{csv_data.score}
$vue{csv_data.lable}
关闭结果

报名前需认证

请先完成个人的身份信息认证后再报名哦!

取消 前往认证
报名确认
报名参与本场比赛前请仔细阅读并勾选竞赛协议,点击确定报名即可报名成功!

参赛者须同意如下保密规则:

1.保密信息范围:平台方向参赛者披露或提供的全部信息,以及参赛者因参加本次大赛从平台方处获得、知晓所得的商业秘密和其他所有非第三方所知的信息,包括但不限于 :

(1)平台方提供的图片、语音、数据、代码等;

(2)平台方从第三方处获得但应承担保密义务的数据、信息;

(3)其他通常不为平台方以外的人所知晓、未在公共领域被正式公开的数据、信息;

2.参赛者保证仅按照平台方的指定要求在指定区域及系统内使用保密信息于参赛的合理目的使用,参赛者不得以不符合平台方要求的方式获取、使用保密信息,不得以任何形式向任何第三方泄露、披露、传播、出售、转让或用于任何商业用途及其用途等。

3.参赛者认可上述所有信息为平台方的保密信息,参赛者同意对平台方的上述保密信息严格保密,并采取所有必要的保密措施,不得向公众披露此等保密信息或向第三方披露此等保密信息。

4.参赛者承诺不发表对平台方及大赛举办等的任何不利言论,并不会在任何场合以及向任何媒体、网络等途径发表或泄露参赛者在参加大赛过程中知晓的保密信息、商业秘密等,否则,平台方有权取消参赛者的参赛资格、获得奖金等,且参赛者应对平台方造成的全部损失进行赔偿。

5.参赛者同意平台方有权随时对参赛者是否存在违约进行审查,参赛者未经授权而进行保密信息的使用或披露都将给平台方造成的损失和侵害,除所有法定的赔偿外,平台方将有权基于合理的判断而对任何实际或可能发生的违反保密条款的行为,向有管辖权的人民法院申请救济。参赛者应就违约行为而对平台方可能受到的全部损失、侵害,包括但不限于实际损失、可得利益和律师费用承担足额的赔偿责任。

如您不同意本协议,请不要进行任何后续操作;否则视为您已了解并完全同意本协议各项内容,本协议即在您和FlyAI之间产生法律效力。

滑动下拉阅读保密规则并勾选同意《FlyAI竞赛参赛协议》
确定报名
确定报名