COLA 英文句子可理解性分类

分享给好友

剩余奖金 ¥ 1,973

报名参赛

体验云端免费GPU极速训练,还能赢奖⾦!

报名参赛

大赛简介

完整句式的英文句子语料库(COLA)代表是可以被正常人听得懂的可接受语料,由语言学专家标记为可理解和不可理解的10657个英文句子组成。

参赛须知

参赛时间: 本次竞赛无时间限制,长期有效开放

如何参赛?

  • 方式一:在线提交体验结果。FlyAI已提供了赛题的样例代码,点击【查看样例】可以直接使用样例代码提交到免费GPU进行模型训练体验。
  • 方式二:本地调试模型并提交训练。请在"在线提交页"点击【下载代码】按钮将包含项目样例的资料包下载到本地,并使用本地开发环境进行代码调试。本地调试和提交指南请查看[文档中心]

参赛选手说明

  • 参赛人员身份信息需保证真实、有效,大赛主办方仅将个人信息用于赛事数据授权及颁奖使用
  • 欢迎海内外的在校学生,算法工程师和所有AI爱好者参与
  • 本次竞赛报名形式:以个人形式本地提交作品线上审核,并且以最终提交算法得分作为唯一有效成绩
  • 在比赛截止日期前,团队中成绩最高分作为本团队的最终成绩
  • 报名成功后请加入FlyAI竞赛交流群,一起学习进步!重要通知也将在群内发布,不要错过哦

比赛作品说明

  • 最终比赛成绩以排行榜显示排名为准
  • 根据作品提交时间先后顺序进行人工审核,审核合格后提交至排行榜
  • 禁止使用外部链接下载代码替换本项目代码
  • 提交的代码具备可解释性并且其它开源框架可复现
  • 所有相似代码将一律不通过审核!!情况多次出现者封号处理
  • 通过系统漏洞取得的比赛成绩无效,FlyAI有权撤回参赛者成绩
  • 如有发现利用非正常手段作弊行为,奖金一律不发放。之前所获得奖金金额官方有权收回,情节严重者封号处理
  • 提交代码即视为阅读并同意以上比赛作品说明

大赛奖项设置

奖项说明:

奖项设置 获奖人数 奖金额度说明(按最终得分评判)
参与奖(总奖金30%) 所有人 不同得分区间获得相应的竞赛奖金
突破奖(总奖金20%) 所有人 更新排行榜得分,获取相应竞赛奖金
排名奖(总奖金50%) 第一周/月前3名(冠、亚、季军) 项目上线第一周、第一个月; Time_P(周) = 0.5,Time_P(月) = 0.5;K1=0.5,K2=0.3,K3=0.2;
不同框架奖励 所有人 获得60FAI币用于GPU训练资源消耗

备注:

  • 上线时间:2019-05-15
  • 周排行奖结算时间:2019-05-22 15:00:00;月排名奖结算时间:2019-06-15 15:00:00
  • 奖金获取标准:65<Score 按照得分比例获取奖金
  • 获得奖金分为3部分:参与奖、突破奖为审核完毕实时获取的奖金,排名奖需在规定时间结束后根据排名顺序获得
  • Bouns表示为:奖金池总金额;Score表示为:模型得分;
  • 【参与奖】相同得分区间无法再次获得奖励
  • 各项奖金获得计算公式参考如下:
  • 参与奖(Participation Award)
  • R表示:得分的区间系数;T表示为:相同得分区间得分人数;
  • 100-标准分:分为5个区间系数;R1(0.02),R2(0.08),R3(0.15),R4(0.25),R5(0.5)
  • 奖金计算公式1
  • 突破奖(Prizes)
  • N表示:第N次更新排行榜;Prizes_N-1表示:排行榜更新后已发放的突破奖金
  • 奖金计算公式2
  • 排名奖(Ranking Award)
  • Time_p表示:相关截止日期的奖金发放系数;K表示:每次发放排行榜前三名的分配系数;
  • 奖金计算公式3

赛事主题和数据说明

赛题描述

通过实现算法并提交训练,获取奖金池奖金。小提示:抢先更新算法排行榜,有更大机会获取高额奖金哦!

数据来源

COLA

数据描述

由于需要提交代码作品在云端进行训练,参赛数据集不对外开放。仅提供调试数据,可通过使用本地调试的方式获取调试数据集。本地调试和提交指南请查看[文档中心]

字段说明:

字段名 字段类型 取值区间 字段描述
label int 不为空 类别
sentence string 不为空 句子内容

输入字段: sentence,

输出字段: label,

参考文献:

[1]Neural Network Acceptability Judgments

评审标准

评审指标说明

  • 准确率(Accuracy):对于给定的测试数据集,预测正确的样本数与实际总样本数之比
  • True,表示预测正确的样本数数量
  • Total Number of Samples,表示实际总样本数数量
  • 计算公式如下:

比赛常见问题说明

Q:比赛使用什么框架?

  • 比赛支持常用的机器学习和深度学习框架,比如TensorFlow,PyTorch,Keras,Scikit-learn、MXNet、PaddlePaddle等。

Q:怎么参加比赛,需不需要提交csv文件?

  • FlyAI竞赛平台无需提交csv文件,在网页上点击报名,下载项目,使用你熟练的框架,修改main.py中的网络结构,和processor.py中的数据处理。请仔细阅读右侧提交指南,使用FlyAI命令参与比赛。

Q:比赛排行榜分数怎么得到的?

  • 参加项目竞赛必须实现 model.py 中的predict_all方法。系统通过该方法,调用模型得出评分。

展开

  • 竞赛排行榜
  • 奖金记录
第三名

提供者:sakuranew

647.76

batch数据为32,循环次数为16次,损失函数优化完,最终完成评分为85.15。

2019-06-14 15:37:05

647.76

85.15

第三名

提供者:NLP-Learner

474.13

batch数据为32,循环次数为5次,损失函数优化完,最终完成评分为84.99。

2019-06-14 00:02:22

474.13

84.99

第三名

提供者:yphacker

batch数据为32,循环次数为8次,损失函数优化完,最终完成评分为84.84。

2019-09-02 11:35:28

84.84

4

提供者:凉心半浅良心人

257.03

batch数据为32,循环次数为3次,损失函数优化完,最终完成评分为84.68。

PyTorch

bert+cnn

2019-06-16 14:00:28

257.03

84.68

5

提供者:未名湖畔的落叶

286.50

batch数据为128,循环次数为500次,损失函数优化完,最终完成评分为83.85。

2019-05-29 14:13:26

286.50

83.85

6

提供者:444444

14.06

batch数据为48,循环次数为10次,损失函数优化完,最终完成评分为83.69。

2019-06-13 16:26:37

14.06

83.69

7

提供者:麦小杨

640.50

batch数据为32,循环次数为6次,损失函数优化完,最终完成评分为81.97。

2019-10-03 17:42:16

640.50

81.97

8

提供者:丶人狠话不多

batch数据为32,循环次数为900次,损失函数优化完,最终完成评分为71.81。

2019-05-31 11:33:08

71.81

9

提供者:ChangeBio

378.75

batch数据为64,循环次数为300次,损失函数优化完,最终完成评分为71.76。

2019-05-21 07:34:48

378.75

71.76

10

提供者:我吃定了这第一

1.88

batch数据为16,循环次数为2000次,损失函数优化完,最终完成评分为71.76。

2019-05-23 17:40:48

1.88

71.76

11

提供者:普六茹那罗延

batch数据为32,循环次数为5000次,损失函数优化完,最终完成评分为71.76。

2019-05-25 13:01:56

71.76

12

提供者:陈成

batch数据为512,循环次数为32次,损失函数优化完,最终完成评分为71.76。

2019-05-30 19:22:38

71.76

13

提供者:恋旧却念旧

batch数据为1,循环次数为1次,损失函数优化完,最终完成评分为71.76。

2019-06-13 23:08:17

71.76

14

提供者:大大大宇子

batch数据为32,循环次数为16次,损失函数优化完,最终完成评分为71.76。

2019-06-18 16:38:57

71.76

15

提供者:chenfengshf

batch数据为32,循环次数为2次,损失函数优化完,最终完成评分为71.76。

2019-10-09 11:09:20

71.76

16

提供者:Jeremy

batch数据为128,循环次数为1次,损失函数优化完,最终完成评分为71.76。

2019-11-03 21:45:24

71.76

17

提供者:菜菜来了

batch数据为32,循环次数为1000次,损失函数优化完,最终完成评分为71.08。

2019-05-25 12:37:44

71.08

18

提供者:Meowooo

batch数据为64,循环次数为30次,损失函数优化完,最终完成评分为70.71。

2019-09-28 00:05:38

70.71

19

提供者:沙雕网友

327.00

batch数据为128,循环次数为2000次,损失函数优化完,最终完成评分为70.66。

2019-05-18 15:38:40

327.00

70.66

20

提供者:sixgod

batch数据为64,循环次数为288次,损失函数优化完,最终完成评分为28.24。

TensorFlow

bert+lstm

2019-05-22 10:34:08

28.24

21

提供者:我的爱人她叫九儿

batch数据为32,循环次数为1次,损失函数优化完,最终完成评分为28.24。

2019-07-16 18:34:07

28.24

2019-06-15
sakuranew

模型得分为85.15,本次获得实时奖励奖金为4

2019-06-15 21:14:19

凉心半浅良心人

模型得分为84.11,本次获得排名奖奖金为250

2019-06-15 15:00:01

sakuranew

模型得分为84.78,本次获得排名奖奖金为625

2019-06-15 15:00:01

NLP-Learner

模型得分为84.99,本次获得排名奖奖金为375

2019-06-15 15:00:01

2019-06-14
NLP-Learner

模型得分为84.99,本次获得实时奖励奖金为8

2019-06-14 13:43:54

sakuranew

模型得分为84.68,本次获得实时奖励奖金为17

2019-06-14 13:43:51

sakuranew

模型得分为81.66,本次获得实时奖励奖金为1.76

2019-06-14 13:32:47

NLP-Learner

模型得分为83.95,本次获得实时奖励奖金为3

2019-06-14 13:32:44

凉心半浅良心人

模型得分为80.67,本次获得实时奖励奖金为7.03

2019-06-14 13:29:45

2019-06-13
444444

模型得分为83.59,本次获得实时奖励奖金为14.06

2019-06-13 10:38:06

2019-06-04
NLP-Learner

模型得分为79.62,本次获得实时奖励奖金为28.13

2019-06-04 11:52:38

2019-06-03
NLP-Learner

模型得分为72.07,本次获得实时奖励奖金为60

2019-06-03 10:30:38

2019-05-29
未名湖畔的落叶

模型得分为83.85,本次获得实时奖励奖金为9

2019-05-29 14:14:44

未名湖畔的落叶

模型得分为83.43,本次获得实时奖励奖金为277.5

2019-05-29 14:14:11

2019-05-27
我吃定了这第一

模型得分为71.76,本次获得实时奖励奖金为1.88

2019-05-27 10:27:32

2019-05-22
麦小杨

模型得分为71.76,本次获得排名奖奖金为625

2019-05-22 15:00:02

ChangeBio

模型得分为71.76,本次获得排名奖奖金为375

2019-05-22 15:00:02

沙雕网友

模型得分为70.66,本次获得排名奖奖金为250

2019-05-22 15:00:02

2019-05-20
ChangeBio

模型得分为65.35,本次获得实时奖励奖金为3.75

2019-05-20 11:25:46

麦小杨

模型得分为71.76,本次获得实时奖励奖金为15.5

2019-05-20 11:23:34

沙雕网友

模型得分为70.66,本次获得实时奖励奖金为77

2019-05-20 11:22:35

挑战者大赛 官方交流群

训练记录

你还没有任何提交记录喔...

使用指南

  • windows客户端
  • windows命令行
  • Mac/Linux

1.进入代码编辑页下载当前代码

2.本地解压缩代码包文件,双击执行 flyai.exe 程序

第一次使用需要使用微信扫码登录 杀毒软件可能会误报,点击信任该程序即可

3.开启 FlyAI-Jupyter 代码调试环境

运行flyai.exe程序,点击"使用jupyter调试"按钮自动打开jupyter notebook 操作界面

运行 run main.py 命令即可在本地训练调试代码

4.下载本地测试数据

运行flyai.exe程序,点击"下载数据"按钮,程序会下载100条调试数据

5.提交训练到GPU

运行flyai.exe程序,点击"提交GPU训练"按钮,代码将自动提交到云端GPU进行训练

返回sucess状态,代表提交离线训练成功

训练结束会以微信和邮件的形式发送结果通知

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.打开运行,输入cmd,打开终端

Win+R 输入 cmd

3.使用终端进入到项目的根目录下

cd path\to\project

4.开启 FlyAI-Jupyter 代码调试环境

在终端执行命令 flyai.exe ide 打开调试环境

操作过程有延迟,请耐心等待

运行 run main.py 命令即可在本地训练调试代码

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !flyai.exe train 将代码提交到云端GPU免费训练

返回sucess状态,代表提交离线训练成功

训练结束会以微信和邮件的形式发送结果通知

6.下载本地测试数据

首次成功执行本地调试命令后,将在本地代码包中自动生成"data"数据集文件夹

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.使用终端进入到项目的根目录下

cd path\to\project

3.初始化环境登录

使用如下命令授权 flyai 脚本: chmod +x ./flyai

4.开启 FlyAI-Jupyter 代码调试环境

在终端执行命令 ./flyai ide 打开调试环境 操作过程有延迟,请耐心等待 运行 run main.py 命令即可在本地训练调试代码

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !flyai.exe train 将代码提交到云端GPU免费训练 返回sucess状态,代表提交离线训练成功 训练结束会以微信和邮件的形式发送结果通知

6.下载本地测试数据

首次成功执行本地调试命令后,将在本地代码包中自动生成"data"数据集文件夹

更多参赛帮助请查看文档中心

$vue{ errorTip }

发送样例至我的邮箱

已发送

已发送成功

请查收FlyAI官方邮件查看详情 根据样例提高算法评分可以获得积分奖励 用来兑换GPU训练时长

确定

$vue{flag?'报名成功!':'参赛温馨提示'}

通过迭代赛题的样例代码提高模型准确率哦~
准确率越高,奖励越丰富!

查看样例代码

⼤神你好!当前能⼒值⽆法参加新⼿手赛

多给新手一些机会哦~

查看样例代码

打开微信,使用扫一扫功能分享给好友

绑定你的微信账号

用于本地环境登录和实时接收训练通知