COLA 英文句子可理解性分类

分享给好友

剩余奖金 ¥ 1,973

报名参赛

体验云端免费GPU极速训练,还能赢奖⾦!

报名参赛

大赛简介

完整句式的英文句子语料库(COLA)代表是可以被正常人听得懂的可接受语料,由语言学专家标记为可理解和不可理解的10657个英文句子组成。

参赛须知

参赛时间: 本次竞赛无时间限制,长期有效开放

参赛方式

  • 方式一:
  • 在线查看样例根据FlyAI样例模版实现算法并使用云端免费GPU进行模型训练获得最终成绩得分
  • 方式二:
  • 下载FlyAI样例模版进行本地调试并提交到云端使用免费GPU进行模型训练获得最终成绩得分,在本地进行代码调试的教程请查看[文档中心]

参赛选手说明

  • 参赛人员身份信息需保证真实、有效,大赛主办方仅将个人信息用于赛事数据授权及颁奖使用
  • 欢迎海内外的在校学生,算法工程师和所有AI爱好者参与
  • 本次竞赛报名形式:以个人形式本地提交作品线上审核,并且以最终提交算法得分作为唯一有效成绩
  • 在比赛截止日期前,团队中成绩最高分作为本团队的最终成绩
  • 报名成功后请加入FlyAI竞赛交流群,一起学习进步!重要通知也将在群内发布,不要错过哦

比赛作品说明

  • 最终比赛成绩以排行榜显示排名为准
  • 根据作品提交时间先后顺序进行人工审核,审核合格后提交至排行榜
  • 禁止使用外部链接下载代码替换本项目代码
  • 提交的代码具备可解释性并且其它开源框架可复现
  • 所有相似代码将一律不通过审核!!情况多次出现者封号处理
  • 如有发现利用非正常手段作弊行为,奖金一律不发放。之前所获得奖金金额官方有权收回,情节严重者封号处理
  • 提交代码即视为阅读并同意以上比赛作品说明

大赛奖项设置

奖项说明:

奖项设置 获奖人数 奖金额度说明(按最终得分评判)
参与奖(总奖金30%) 所有人 不同得分区间获得相应的竞赛奖金
突破奖(总奖金20%) 所有人 更新排行榜得分,获取相应竞赛奖金
排名奖(总奖金50%) 第一周/月前3名(冠、亚、季军) 项目上线第一周、第一个月; Time_P(周) = 0.5,Time_P(月) = 0.5;K1=0.5,K2=0.3,K3=0.2;
不同框架奖励 所有人 获得60FAI币用于GPU训练资源消耗

备注:

  • 上线时间:2019-05-15
  • 周排行奖结算时间:2019-05-22 15:00:00;月排名奖结算时间:2019-06-15 15:00:00
  • 奖金获取标准:65<Score 按照得分比例获取奖金
  • 获得奖金分为3部分:参与奖、突破奖为审核完毕实时获取的奖金,排名奖需在规定时间结束后根据排名顺序获得
  • Bouns表示为:奖金池总金额;Score表示为:模型得分;
  • 【参与奖】相同得分区间无法再次获得奖励
  • 各项奖金获得计算公式参考如下:
  • 参与奖(Participation Award)
  • R表示:得分的区间系数;T表示为:相同得分区间得分人数;
  • 100-标准分:分为5个区间系数;R1(0.02),R2(0.08),R3(0.15),R4(0.25),R5(0.5)
  • 奖金计算公式1
  • 突破奖(Prizes)
  • N表示:第N次更新排行榜;Prizes_N-1表示:排行榜更新后已发放的突破奖金
  • 奖金计算公式2
  • 排名奖(Ranking Award)
  • Time_p表示:相关截止日期的奖金发放系数;K表示:每次发放排行榜前三名的分配系数;
  • 奖金计算公式3

赛事主题和数据说明

赛题描述

通过实现算法并提交训练,获取奖金池奖金。小提示:抢先更新算法排行榜,有更大机会获取高额奖金哦!

数据来源

COLA

数据描述

由于需要提交代码作品在云端进行训练,参赛数据集不对外开放。仅提供调试数据,可通过使用本地调试的方式获取调试数据集。本地调试和提交指南请查看[文档中心]

字段说明:

文件名 字段名称 字段类型 备注
label int 不为空 类别
sentence string 不为空 句子内容

参考文献:

[1]Neural Network Acceptability Judgments

评审标准

算法输入输出格式

输入字段: sentence,

输出字段: label,

评审指标说明

  • 准确率(Accuracy):对于给定的测试数据集,预测正确的样本数与实际总样本数之比
  • True,表示预测正确的样本数数量
  • Total Number of Samples,表示实际总样本数数量
  • 计算公式如下:

比赛常见问题说明

Q:比赛使用什么框架?

  • 比赛支持常用的机器学习和深度学习框架,比如TensorFlow,PyTorch,Keras,Scikit-learn、MXNet、PaddlePaddle等。

Q:怎么参加比赛,需不需要提交CSV文件?

  • FlyAI竞赛平台提供免费云端GPU资源,报名后可以使用自己熟练的框架,修改main.py中的网络结构和processor.py中的数据处理;仅部分赛题支持CSV方式提交,请仔细阅读参赛方式相关内容。

Q:比赛排行榜分数怎么得到的?

  • 参加项目竞赛必须实现 model.py 中的predict_all方法。系统通过该方法,调用模型得出评分。

展开

  • 竞赛排行榜
  • 奖金记录
  • 讨论($vue{comment_count})
超过 65分 的成绩会在48小时内更新到排行榜,不要着急哦!
讨论
500字
表情
每日参与讨论奖励 20FAI
发送
每日参与讨论奖励 20FAI
删除确认
是否删除该条评论?
取消 删除
第三名

提供者:sakuranew

647.76

batch数据为32,循环次数为16次,损失函数优化完,最终完成评分为85.15。

2019-06-14 15:37:05

647.76

85.15

第三名

提供者:NLP-Learner

474.13

batch数据为32,循环次数为5次,损失函数优化完,最终完成评分为84.99。

2019-06-14 00:02:22

474.13

84.99

第三名

提供者:yphacker

batch数据为32,循环次数为8次,损失函数优化完,最终完成评分为84.84。

2019-09-02 11:35:28

84.84

4

提供者:凉心半浅良心人

257.03

batch数据为32,循环次数为3次,损失函数优化完,最终完成评分为84.68。

PyTorch

bert+cnn

2019-06-16 14:00:28

257.03

84.68

5

提供者:未名湖畔的落叶

286.50

batch数据为128,循环次数为500次,损失函数优化完,最终完成评分为83.85。

2019-05-29 14:13:26

286.50

83.85

6

提供者:弱鸡瑟瑟发抖

batch数据为64,循环次数为32次,损失函数优化完,最终完成评分为83.79。

2020-01-23 17:43:06

83.79

7

提供者:444444

14.06

batch数据为48,循环次数为10次,损失函数优化完,最终完成评分为83.69。

2019-06-13 16:26:37

14.06

83.69

8

提供者:麦小杨

640.50

batch数据为32,循环次数为6次,损失函数优化完,最终完成评分为81.97。

2019-10-03 17:42:16

640.50

81.97

9

提供者:丶人狠话不多

batch数据为32,循环次数为900次,损失函数优化完,最终完成评分为71.81。

2019-05-31 11:33:08

71.81

10

提供者:ChangeBio

378.75

batch数据为64,循环次数为300次,损失函数优化完,最终完成评分为71.76。

2019-05-21 07:34:48

378.75

71.76

11

提供者:我吃定了这第一

1.88

batch数据为16,循环次数为2000次,损失函数优化完,最终完成评分为71.76。

2019-05-23 17:40:48

1.88

71.76

12

提供者:普六茹那罗延

batch数据为32,循环次数为5000次,损失函数优化完,最终完成评分为71.76。

2019-05-25 13:01:56

71.76

13

提供者:陈成

batch数据为512,循环次数为32次,损失函数优化完,最终完成评分为71.76。

2019-05-30 19:22:38

71.76

14

提供者:恋旧却念旧

batch数据为1,循环次数为1次,损失函数优化完,最终完成评分为71.76。

2019-06-13 23:08:17

71.76

15

提供者:大大大宇子

batch数据为32,循环次数为16次,损失函数优化完,最终完成评分为71.76。

2019-06-18 16:38:57

71.76

16

提供者:chenfengshf

batch数据为32,循环次数为2次,损失函数优化完,最终完成评分为71.76。

2019-10-09 11:09:20

71.76

17

提供者:Jeremy

batch数据为128,循环次数为1次,损失函数优化完,最终完成评分为71.76。

2019-11-03 21:45:24

71.76

18

提供者:菜菜来了

batch数据为32,循环次数为1000次,损失函数优化完,最终完成评分为71.08。

2019-05-25 12:37:44

71.08

19

提供者:Meowooo

batch数据为64,循环次数为30次,损失函数优化完,最终完成评分为70.71。

2019-09-28 00:05:38

70.71

20

提供者:沙雕网友

327.00

batch数据为128,循环次数为2000次,损失函数优化完,最终完成评分为70.66。

2019-05-18 15:38:40

327.00

70.66

21

提供者:xsevenx

batch数据为32,循环次数为16次,损失函数优化完,最终完成评分为64.93。

2019-12-30 21:15:00

64.93

22

提供者:sixgod

batch数据为64,循环次数为288次,损失函数优化完,最终完成评分为28.24。

TensorFlow

bert+lstm

2019-05-22 10:34:08

28.24

23

提供者:我的爱人她叫九儿

batch数据为32,循环次数为1次,损失函数优化完,最终完成评分为28.24。

2019-07-16 18:34:07

28.24

2019-06-15
sakuranew

模型得分为85.15,本次获得实时奖励奖金为4

2019-06-15 21:14:19

凉心半浅良心人

模型得分为84.11,本次获得排名奖奖金为250

2019-06-15 15:00:01

sakuranew

模型得分为84.78,本次获得排名奖奖金为625

2019-06-15 15:00:01

NLP-Learner

模型得分为84.99,本次获得排名奖奖金为375

2019-06-15 15:00:01

2019-06-14
NLP-Learner

模型得分为84.99,本次获得实时奖励奖金为8

2019-06-14 13:43:54

sakuranew

模型得分为84.68,本次获得实时奖励奖金为17

2019-06-14 13:43:51

sakuranew

模型得分为81.66,本次获得实时奖励奖金为1.76

2019-06-14 13:32:47

NLP-Learner

模型得分为83.95,本次获得实时奖励奖金为3

2019-06-14 13:32:44

凉心半浅良心人

模型得分为80.67,本次获得实时奖励奖金为7.03

2019-06-14 13:29:45

2019-06-13
444444

模型得分为83.59,本次获得实时奖励奖金为14.06

2019-06-13 10:38:06

2019-06-04
NLP-Learner

模型得分为79.62,本次获得实时奖励奖金为28.13

2019-06-04 11:52:38

2019-06-03
NLP-Learner

模型得分为72.07,本次获得实时奖励奖金为60

2019-06-03 10:30:38

2019-05-29
未名湖畔的落叶

模型得分为83.85,本次获得实时奖励奖金为9

2019-05-29 14:14:44

未名湖畔的落叶

模型得分为83.43,本次获得实时奖励奖金为277.5

2019-05-29 14:14:11

2019-05-27
我吃定了这第一

模型得分为71.76,本次获得实时奖励奖金为1.88

2019-05-27 10:27:32

2019-05-22
麦小杨

模型得分为71.76,本次获得排名奖奖金为625

2019-05-22 15:00:02

ChangeBio

模型得分为71.76,本次获得排名奖奖金为375

2019-05-22 15:00:02

沙雕网友

模型得分为70.66,本次获得排名奖奖金为250

2019-05-22 15:00:02

2019-05-20
ChangeBio

模型得分为65.35,本次获得实时奖励奖金为3.75

2019-05-20 11:25:46

麦小杨

模型得分为71.76,本次获得实时奖励奖金为15.5

2019-05-20 11:23:34

沙雕网友

模型得分为70.66,本次获得实时奖励奖金为77

2019-05-20 11:22:35

挑战者大赛 官方交流群

训练记录

你还没有任何提交记录喔...

使用指南

  • windows客户端
  • windows命令行
  • Mac/Linux

1.进入代码编辑页下载当前代码

2.本地解压缩代码包文件,双击执行 flyai.exe 程序

第一次使用需要使用微信扫码登录 杀毒软件可能会误报,点击信任该程序即可

3.开启 FlyAI-Jupyter 代码调试环境

运行flyai.exe程序,点击"使用jupyter调试"按钮自动打开jupyter lab 操作界面

运行 run main.py 命令即可在本地训练调试代码

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

4.下载本地测试数据

运行flyai.exe程序,点击"下载数据"按钮,程序会下载100条调试数据

5.提交训练到GPU

运行flyai.exe程序,点击"提交GPU训练"按钮,代码将自动提交到云端GPU进行训练

返回sucess状态,代表提交离线训练成功,训练结束会以微信和邮件的形式发送结果通知

项目中有新的Python包引用,必须在 requirements.txt 文件中指定包名,不填写版本号将默认安装最新版

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.打开运行,输入cmd,打开终端

Win+R 输入 cmd

3.使用终端进入到项目的根目录下

cd path\to\project

4.开启 FlyAI-Jupyter 代码调试环境

在终端执行命令 flyai.exe ide 打开调试环境(第一次使用需要使用微信扫码登录)

操作过程有延迟,请耐心等待

运行 run main.py 命令即可在本地训练调试代码

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !flyai.exe train 将代码提交到云端GPU免费训练

返回sucess状态,代表提交离线训练成功,训练结束会以微信和邮件的形式发送结果通知

项目中有新的Python包引用,必须在 requirements.txt 文件中指定包名,不填写版本号将默认安装最新版

6.下载本地测试数据

首次成功执行本地调试命令后,将在本地代码包中自动生成"data"数据集文件夹

7.使用自己的Python环境

flyai.exe path=xxx 可以设置自己的Python路径

flyai.exe path=flyai 恢复系统默认Pyton路径

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.使用终端进入到项目的根目录下

cd path\to\project

3.初始化环境登录

使用如下命令授权 flyai 脚本: chmod +x ./flyai

4.开启 Jupyter 代码调试环境

在终端执行命令 ./flyai ide 打开调试环境(第一次使用需要使用微信扫码登录) 操作过程有延迟,请耐心等待

运行 run main.py 命令即可在本地训练调试代码

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

或使用终端

执行下列命令本地安装环境并调试

./flyai test 注意:如果出现 permission denied 错误,需使用sudo运行

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

执行test命令,会自动下载100条测试数据到项目下

如果使用本地IDE开发,可以自行安装 requirements.txt 中的依赖,运行 main.py 即可

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !./flyai train 将代码提交到云端GPU免费训练 返回sucess状态,代表提交离线训练成功,训练结束会以微信和邮件的形式发送结果通知

或者在终端下使用 ./flyai train -b=32 -e=10

项目中有新的Python包引用,必须在 requirements.txt 文件中指定包名,不填写版本号将默认安装最新版

6.下载本地测试数据

首次成功执行本地调试命令后,将在本地代码包中自动生成"data"数据集文件夹

7.使用自己的Python环境

./flyai path=xxx 可以设置自己的Python路径

./flyai path=flyai 恢复系统默认Pyton路径

更多参赛帮助请查看文档中心

$vue{ errorTip }

发送样例至我的邮箱

已发送

已发送成功

请查收FlyAI官方邮件查看详情 根据样例提高算法评分可以获得积分奖励 用来兑换GPU训练时长

确定

$vue{flag?'报名成功!':'参赛温馨提示'}

通过迭代赛题的样例代码提高模型准确率哦~
准确率越高,奖励越丰富!

查看样例代码

⼤神你好!当前能⼒值⽆法参加新⼿手赛

多给新手一些机会哦~

查看样例代码

打开微信,使用扫一扫功能分享给好友

绑定你的微信账号

用于本地环境登录和实时接收训练通知
参赛提示


申请参赛资格请扫描上方二维码联系FlyAI客服

当前赛题您未在 24小时内 报名参加
参赛资格已失效,如有疑问请联系FlyAI客服

当前赛题您未在 48小时内 提交有效成绩
参赛资格已失效,如有疑问请联系FlyAI客服

参加其他比赛
提交结果文件
提示:每次提交需消耗 10 FAI

仅支持上传 CSV 格式的文件

$vue{csvName}上传成功
取消 确认提交

评估成绩得分

$vue{csv_data.score}
$vue{csv_data.lable}
关闭结果

报名前需认证

请先完成个人的身份信息认证后再报名哦!

取消 前往认证
报名确认
报名参与本场比赛前请仔细阅读并勾选竞赛协议,点击确定报名即可报名成功!

参赛者须同意如下保密规则:

1.保密信息范围:平台方向参赛者披露或提供的全部信息,以及参赛者因参加本次大赛从平台方处获得、知晓所得的商业秘密和其他所有非第三方所知的信息,包括但不限于 :

(1)平台方提供的图片、语音、数据、代码等;

(2)平台方从第三方处获得但应承担保密义务的数据、信息;

(3)其他通常不为平台方以外的人所知晓、未在公共领域被正式公开的数据、信息;

2.参赛者保证仅按照平台方的指定要求在指定区域及系统内使用保密信息于参赛的合理目的使用,参赛者不得以不符合平台方要求的方式获取、使用保密信息,不得以任何形式向任何第三方泄露、披露、传播、出售、转让或用于任何商业用途及其用途等。

3.参赛者认可上述所有信息为平台方的保密信息,参赛者同意对平台方的上述保密信息严格保密,并采取所有必要的保密措施,不得向公众披露此等保密信息或向第三方披露此等保密信息。

4.参赛者承诺不发表对平台方及大赛举办等的任何不利言论,并不会在任何场合以及向任何媒体、网络等途径发表或泄露参赛者在参加大赛过程中知晓的保密信息、商业秘密等,否则,平台方有权取消参赛者的参赛资格、获得奖金等,且参赛者应对平台方造成的全部损失进行赔偿。

5.参赛者同意平台方有权随时对参赛者是否存在违约进行审查,参赛者未经授权而进行保密信息的使用或披露都将给平台方造成的损失和侵害,除所有法定的赔偿外,平台方将有权基于合理的判断而对任何实际或可能发生的违反保密条款的行为,向有管辖权的人民法院申请救济。参赛者应就违约行为而对平台方可能受到的全部损失、侵害,包括但不限于实际损失、可得利益和律师费用承担足额的赔偿责任。

如您不同意本协议,请不要进行任何后续操作;否则视为您已了解并完全同意本协议各项内容,本协议即在您和FlyAI之间产生法律效力。

滑动下拉阅读保密规则并勾选同意《FlyAI竞赛参赛协议》
确定报名
确定报名