submission.csvを読み込み、2列目に答えを上書きするプログラムを提出してください。
提出するファイルは、pythonプログラムと学習済みモデルなど、複数のファイルをアップロードすることができます。
実行時にはsubmission.csv, 提出したファイル群, テストデータが同じディレクトリ内に配置されます。そのためファイルの読み込みや書き出しをする際のファイルパスは同じディレクトリにあるファイルを指定してください。
問題によってはテストデータが複数の場合もあり、その場合はtestdata/と言う名前のディレクトリ配下に各テストデータが配置されます。
ジャッジシステムが実行するファイルはファイルアップロードフォームの下にある「実行ファイル名」で指定することができます。
submission.csvやテストデータの形式は問題文を確認してください。
始めに提出したプログラムが正しく動作することをチェックするために、サンプルCSVファイルを用いてサンプル実行します。
サンプル実行時にエラーが発生した場合は採点を終了し、採点結果は「Sample Error」となります。
エラー原因を「提出履歴」タブを開いてiマークから確認してください。
サンプル実行が成功した場合、正規のデータセットを用いて本採点が行われます。
本採点が終了しましたら「提出履歴」タブから採点結果を確認することができます。(問題ページを開いている場合は終了時にアナウンスがあります。)採点終了後、次の提出を行うことができます。
採点完了時間の目安は30秒から5分程です。
submission.csvの各行に書き込んだ値が正解かどうかを判定する方法は「完全一致判定」「許容誤差判定(絶対誤差)」「許容誤差判定(相対誤差)」の3種類あります。
挑戦中の問題がどの判定方法を採用しているかは問題ページの「評価方法」の欄をご確認ください。
完全一致判定
値が正解値と完全に一致している場合のみ正解となります。主に分類問題に使用されます。
例えば答えが2の場合、2のみが正解となり、1や2.0などは不正解になります。
許容誤差判定(絶対誤差)
値と正解値を絶対誤差で比較し、許容誤差の範囲内の場合のみ正解となります。
許容誤差は ±0.1 などの固定値を用います。
例えば答えが2.5で許容誤差が±0.1の場合、2.4以上2.6以下の値が正解になります。
2.43や2.52、2.6などは正解になりますが、2.39や2.61などは不正解になります。
許容誤差判定(相対誤差)
値と正解値を相対誤差で比較し、許容誤差の範囲内の場合のみ正解となります。
許容誤差は ±0.1% などの割合値を用います。
例えば答えが10で許容誤差が±0.1%の場合、9.99以上10.01以下の値が正解になります。
9.993や10、10.01などは正解になりますが、9.98や10.010001などは不正解になります。
「正解率 × 100 × [ 0.95 ^ max(0, 提出回数-10) ]」がスコアになります。
(max()は引数の最大値を返す関数で、演算子'a ^ b'はaのb乗を表します。)
正解率は (submission.csvの正解した行数 ÷ テストケース数) です。
式内のmax()関数にもありますように、11回目の提出以降はスコアにペナルティが発生しますのでご注意ください。
(サンプル実行が失敗し、採点結果が「Sample error」となった提出は提出回数に含みません。)
最高スコアは100点です。
問題の中には合格ラインに到達したらスコアが満点になる方式を採用しているものがあります。
この方式を採用している場合は、正解率が合格ラインに満たない場合は上記式でスコアを計算し、合格ライン以上の場合は一律で100点になります。
挑戦中の問題がこの方式を採用しているかは問題ページの「評価方法」の欄をご確認ください。
提出履歴のうちの最高スコアがその問題の最終スコアになります。
OS | Debian 11 |
言語 | Python3.10.7 |
実行環境のメモリ割当量 | 2GB |
実行時間制限 | 180秒 |
提出したプログラムの実行時間が実行時間制限を超えるとエラーとして採点されます。
また、提出したプログラムの実行時にメモリ容量の確保ができなかった場合もエラーとして採点されます。
ライブラリ名 | バージョン |
---|---|
torch | 2.1.1 |
torchvision | 0.16.1 |
torchaudio | 2.1.1 |
librosa | 0.10.1 |
torchlibrosa | 0.1.0 |
pytorch-lightning | 2.1.2 |
Poutyne | 1.17.1 |
catalyst | 22.4 |
pytorch-ignite | 0.4.13 |
kornia | 0.7.0 |
albumentations | 1.3.1 |
skorch | 0.15.0 |
hydra-core | 1.3.2 |
advertorch | 0.2.3 |
fastai | 2.7.13 |
torchensemble | 0.1.9 |
einops | 0.7.0 |
absl-py | 2.0.0 |
audioread | 3.0.1 |
dask | 2023.11.0 |
h5py | 3.10.0 |
easydict | 1.11 |
fastdtw | 0.3.4 |
gensim | 4.3.2 |
python-fire | 0.1.0 |
heapdict | 1.0.1 |
imageio | 2.32.0 |
imagesize | 1.4.0 |
imbalanced-learn | 0.11.0 |
imgaug | 0.4.0 |
imutils | 0.5.4 |
jax | 0.4.20 |
jaxlib | 0.4.20 |
jpeg4py | 0.1.4 |
joblib | 1.3.2 |
flax | 0.7.5 |
jmp | 0.0.4 |
tensorflow-cpu | 2.15.0 |
keras | 2.15.0 |
tensorflow-probability | 0.22.1 |
dm-sonnet | 2.0.1 |
lightgbm | 4.1.0 |
scikit-learn | 1.3.2 |
scikit-image | 0.22.0 |
opencv-python | 4.8.1.78 |
opencv-contrib-python | 4.8.1.78 |
Pillow | 10.0.1 |
numpy | 1.26.2 |
scipy | 1.11.3 |
pandas | 2.1.3 |
sklearn-pandas | 2.2.0 |
torchtext | 0.16.1 |
xgboost | 2.0.2 |
transformers | 4.35.2 |
PyYAML | 6.0.1 |
pystan | 3.7.0 |
nltk | 3.8.1 |
spacy | 3.6.1 |
fairseq | 0.10.0 |
ginza | 5.1.3 |
mecab-python3 | 1.0.8 |
janome | 0.5.0 |
sudachipy | 0.6.7 |
sudachidict-core | 20230927 |
nagisa | 0.2.9 |
sentencepiece | 0.1.99 |
tensorflow-text | 2.15.0 |
tensorflow-hub | 0.15.0 |
tensorflow-addons | 0.22.0 |
pyknp | 0.6.1 |
chainer | 7.8.1 |
mxnet | 1.9.1 |
seaborn | 0.13.0 |
polars | 0.19.13 |
ultralytics | 8.0.211 |