Spaces:
Runtime error
Runtime error
Add missing keys from sample
Browse files- app.py +8 -8
- sample-submission.json +8 -0
app.py
CHANGED
|
@@ -84,13 +84,13 @@ with st.form(key="form"):
|
|
| 84 |
}
|
| 85 |
}
|
| 86 |
```
|
| 87 |
-
|
| 88 |
-
|
| 89 |
-
|
| 90 |
-
|
| 91 |
-
|
| 92 |
-
|
| 93 |
-
values. Please see the sample submission below:
|
| 94 |
"""
|
| 95 |
)
|
| 96 |
with open("sample-submission.json", "r") as f:
|
|
@@ -146,7 +146,7 @@ if submit_button and submission_errors == 0:
|
|
| 146 |
"dataset": "GEM/references",
|
| 147 |
"task": 1,
|
| 148 |
"model": "gem",
|
| 149 |
-
"submission_dataset": f"
|
| 150 |
"submission_id": submission_id,
|
| 151 |
"col_mapping": {},
|
| 152 |
"split": "test",
|
|
|
|
| 84 |
}
|
| 85 |
}
|
| 86 |
```
|
| 87 |
+
Here, `dataset_identifier` is the identifier of the dataset followed by
|
| 88 |
+
an identifier of the set the outputs were created from, for example
|
| 89 |
+
`_validation` or `_test`. For example, the `mlsum_de` test set has the
|
| 90 |
+
identifier `mlsum_de_test`. The `keys` field is needed to avoid
|
| 91 |
+
accidental shuffling that will impact your metrics. Simply add a list of
|
| 92 |
+
IDs from the `gem_id` column of each evaluation dataset in the same
|
| 93 |
+
order as your values. Please see the sample submission below:
|
| 94 |
"""
|
| 95 |
)
|
| 96 |
with open("sample-submission.json", "r") as f:
|
|
|
|
| 146 |
"dataset": "GEM/references",
|
| 147 |
"task": 1,
|
| 148 |
"model": "gem",
|
| 149 |
+
"submission_dataset": f"GEM-submissions/gem-{user_name}",
|
| 150 |
"submission_id": submission_id,
|
| 151 |
"col_mapping": {},
|
| 152 |
"split": "test",
|
sample-submission.json
CHANGED
|
@@ -17,12 +17,20 @@
|
|
| 17 |
"values": [
|
| 18 |
"Indien hat zwar die größten Geldscheine zunächst abgeschafft, die Wirtschaft wird aber weiterhin auf Bargeld basieren.",
|
| 19 |
"Der englische Coach hat eine Mannschaft, die gar nicht gut verteidigen kann. Doch er hat gerade eine Mannschaft, die gar nicht gut verteidigen kann."
|
|
|
|
|
|
|
|
|
|
|
|
|
| 20 |
]
|
| 21 |
},
|
| 22 |
"mlsum_de_challenge_validation_sample": {
|
| 23 |
"values": [
|
| 24 |
"Was heute wichtig war - und was Sie auf SZ.de am meisten interessiert hat.",
|
| 25 |
"Microsoft, Netflix, Spotify, Facebook und all die anderen wollen im Grunde nur das eine: unsere Zeit. Jede Minute zählt, und um unser wertvollstes Gut zu bekom\u00admen, kämpft jeder gegen jeden."
|
|
|
|
|
|
|
|
|
|
|
|
|
| 26 |
]
|
| 27 |
},
|
| 28 |
"mlsum_de_challenge_test_covid": {
|
|
|
|
| 17 |
"values": [
|
| 18 |
"Indien hat zwar die größten Geldscheine zunächst abgeschafft, die Wirtschaft wird aber weiterhin auf Bargeld basieren.",
|
| 19 |
"Der englische Coach hat eine Mannschaft, die gar nicht gut verteidigen kann. Doch er hat gerade eine Mannschaft, die gar nicht gut verteidigen kann."
|
| 20 |
+
],
|
| 21 |
+
"keys": [
|
| 22 |
+
"mlsum_de-challenge_train_sample-0",
|
| 23 |
+
"mlsum_de-challenge_train_sample-1"
|
| 24 |
]
|
| 25 |
},
|
| 26 |
"mlsum_de_challenge_validation_sample": {
|
| 27 |
"values": [
|
| 28 |
"Was heute wichtig war - und was Sie auf SZ.de am meisten interessiert hat.",
|
| 29 |
"Microsoft, Netflix, Spotify, Facebook und all die anderen wollen im Grunde nur das eine: unsere Zeit. Jede Minute zählt, und um unser wertvollstes Gut zu bekom\u00admen, kämpft jeder gegen jeden."
|
| 30 |
+
],
|
| 31 |
+
"keys": [
|
| 32 |
+
"mlsum_de-challenge-validation_sample-0",
|
| 33 |
+
"mlsum_de-challenge-validation_sample-1"
|
| 34 |
]
|
| 35 |
},
|
| 36 |
"mlsum_de_challenge_test_covid": {
|