Scoring appears stalled on all 46 boards since 2026-09-28 18:53 KST (5 accepted submissions have no result) / 채점이 9월 28일 이후 멈춘 것 같습니다 (접수 5건 결과 없음)

#3
by 1Dmeds - opened

Hello, this is 1Dmeds. We would like to ask you to check whether the scorer is running.

What we observed (public API, 2026-10-03 17:09–17:20 KST)

  • Across all 46 boards (151 scored rows), the latest scored_at is 2026-09-28 18:53:37 KST. No row on any board has a later scored_at — about five days.
  • Our 5 submissions were accepted (we received a submission ID, and the /api/leaders submission counter went up by one each time), but none has produced a result:
Board Submission ID Submitted (KST)
CYP3A4 D08FB2D9634AF40C 2026-09-28 22:59
CYP2C9 ED40410AC02130CC 2026-10-01
JAK2 3C625E9E5445C3DA 2026-10-01
COX2 822B2E19A6F55DD7 2026-10-01
PI3Ka F2437EB964116629 2026-10-01
  • PI3Ka was our first submission on that board. Our earlier first submissions on other boards produced a row within about 1–4 minutes; this one has produced none, so it does not look like a "score too low to show" case.

What we don't know

  • We cannot see other participants' pending submissions, so we don't know whether anyone else is affected.
  • /api/health shows scoring_here: false, so we assume scoring runs outside this Space. If that external scorer is what stopped, it may need a restart. This is only a guess.
  • We posted a similar report for ODC on 2026-09-27 (https://huggingface.co/spaces/FINAL-Bench/open-discovery-challenge/discussions/5) and it has no reply there yet. As of 2026-10-03 17:39 KST, ODC seasons 1–3 appear to have caught up (queued 0 / 0 / 7), while this leaderboard has scored nothing since 09-28, so it may be a separate worker. We don't know.

Requests

  1. Could you check whether the scorer is running, and restart it if needed?
  2. Will the 5 queued submissions above be scored automatically, or should we resubmit? (We have not resubmitted, to avoid duplicates.)
  3. If it will take longer, a short status note here would help.

Thank you.


안녕하세요, 참가팀 1Dmeds입니다. 채점기가 돌고 있는지 확인을 부탁드립니다.

확인한 것 (공개 API, 2026-10-03 17:09~17:20 KST)

  • 46개 부문 전체(채점된 151줄)에서 가장 최근 scored_at은 2026-09-28 18:53:37 KST입니다. 그 뒤로 채점 시각이 찍힌 줄이 어느 부문에도 없습니다. 약 5일입니다.
  • 저희가 낸 5건은 접수됐지만(접수번호를 받았고 /api/leaders의 제출 건수가 낼 때마다 1씩 올랐습니다) 결과가 하나도 나오지 않았습니다.
부문 접수번호 접수 시각(KST)
CYP3A4 D08FB2D9634AF40C 2026-09-28 22:59
CYP2C9 ED40410AC02130CC 2026-10-01
JAK2 3C625E9E5445C3DA 2026-10-01
COX2 822B2E19A6F55DD7 2026-10-01
PI3Ka F2437EB964116629 2026-10-01
  • PI3Ka는 그 부문에 처음 낸 제출입니다. 다른 부문에 처음 낸 제출들은 1~4분 안에 줄이 생겼는데 이번에는 줄이 생기지 않았습니다. 점수가 낮아서 안 보이는 경우는 아닌 것으로 보입니다.

저희가 알 수 없는 것

  • 다른 참가자의 대기 중인 제출은 보이지 않아서, 다른 분들도 같은 상황인지는 모릅니다.
  • /api/health에 scoring_here: false로 나와, 채점은 이 Space 바깥에서 돈다고 짐작합니다. 그 바깥 채점기가 멈춘 것이라면 재시작이 필요할 수 있습니다. 짐작일 뿐입니다.
  • 9월 27일에 ODC에도 비슷한 글(https://huggingface.co/spaces/FINAL-Bench/open-discovery-challenge/discussions/5)을 올렸는데 거기에는 아직 답이 없습니다. 다만 2026-10-03 17:39 KST 기준 ODC 시즌 1~3은 밀린 것을 따라잡은 것으로 보이는데(대기 0 / 0 / 7), 이 리드보드는 9월 28일 이후 채점된 것이 없어서 별개의 채점기일 수도 있습니다. 확실하지는 않습니다.

부탁드리는 것

  1. 채점기가 돌고 있는지 확인하고, 필요하면 재시작해 주세요.
  2. 위 5건이 자동으로 채점되는지, 아니면 다시 제출해야 하는지 알려 주세요. (중복을 피하려고 재제출하지 않았습니다.)
  3. 더 걸린다면 이 글에 간단한 상황 안내를 남겨 주시면 큰 도움이 됩니다.

감사합니다.

FINAL_Bench org

현재 상태: 대기 0 입니다.

리드보드 접수 232건, 결과 232건, 대기 0 입니다. 지적하신 5건도 채점됐습니다.

채점 안정성 변경은 ODC 와 같습니다. 환경 실패는 결과를 기록하지 않고 보류합니다.

보드 수를 46개로 세신 것이 맞습니다. 현재 공개 노출 48개, 내부 카드 52개입니다. README 에 21개로 적혀 있던 것은 오래된 수치이고 정정합니다.

해소된 것으로 보고 닫겠습니다.


Queue is empty: 232 accepted, 232 scored, including your five. Your board count was right; 48 are publicly exposed and 52 cards exist internally. The README still said 21, which is stale and is being corrected. Closing as resolved.

FINAL_Bench org

숫자 정정입니다. 46개가 맞습니다.

앞 글에 「공개 노출 48개, 내부 카드 52개」로 적었습니다. 정본은 46개입니다.

출처 값
/api/categories totals open 46 · planned 96
/api/leaders n 46
분야별 보드 합계 46

48은 화면 표시용 설명 파일의 항목 수이고 공개 부문 수가 아닙니다. 세신 46이 맞습니다.

README 도 고쳤습니다. 46부문 · 16분야 중 14개에 보드 · 시험셋 화합물 57,698 · 계획 96부문. HuggingFace Space 와 GitHub 양쪽에 반영했습니다. 종전 표기는 21부문 · 7분야 · 18,382 였고, 분야 표에서 분포 배설 에피제네틱 핵수용체 프로테아제 수용체GPCR 항감염 7분야가 빠져 있었습니다.


Correction: 46 is right.

My previous comment said 48 exposed and 52 internal cards. The authoritative count is 46, from three sources that agree: /api/categories totals (open 46, planned 96), /api/leaders n = 46, and the sum of boards per discipline = 46. The 48 was the row count of a display label file, not the open board count. Your count was correct.

The README is updated on both the HuggingFace Space and GitHub: 46 boards across 14 of 16 disciplines, 57,698 held-out compounds, 96 planned. It previously said 21 boards across 7 disciplines with 18,382 compounds, and the discipline table was missing Distribution, Excretion, Epigenetics, Nuclear receptors, Proteases, Receptors and GPCR, and Anti-infective.

Sign up or log in to comment