Papers Dataset Loaders Edit AddRemove Tasks Edit Similar Datasets BBH License Custom Modalities Texts Languages
GenInferencer 对应生成式的推理。在推理时,模型被要求以输入的提示词为基准,继续往下续写。 PPLInferencer 对应判别式推理。在推理时,模型被要求计算多个输入字符串各自的混淆度 (PerPLexity / ppl),并将其中 ppl 最小的项作为模型的推理结果。此时 template 是一个 dict,表示每一句话所对应的模板。 evaluator 用...
Merged olachinkeimerged 69 commits intollm-jp:g-leaderboardfromTaichi-Ibi:g-leaderboard May 10, 2024 +8−87 Contributor Taichi-IbicommentedMay 9, 2024 Categorized the MMLU dataset Categorized the few-shot prompts for MMLU by category Updatde jaster version to 1.2.6 ...
mmlu dataset structure RESULT command CUDA_VISIBLE_DEVICES=0 python src/evaluate.py \ --model_name_or_path ../llama/models_hf/7B \ --adapter_name_or_path ./FINE/llama2-7b-chat-alpaca_gpt4_single/checkpoint-20000 \ --template vanilla \ --finetuning_type lora \ --task mmlu \ --split...
10.EEG Eve State Dataset 眼部状态脑电图数据集 该数据集包含了 EEG 测量的实例,其输出是眼睛是睁开还是闭合的状态。数据集中的值按时间顺序排列,其中 0 表示眼睛睁开状态,1 表示眼睛闭合状态。数据集包含 14 个 EEG 测量值,分别标记为 AF3, F7, F3, FC5, T7, P, O1, O2, P8, T8, FC6, F4, ...
^LogiQA: A Challenge Dataset for Machine Reading Comprehension with Logical Reasoninghttps://arxiv.org/abs/2007.08124 ^MHPP: Exploring the Capabilities and Limitations of Language Models Beyond Basic Code Generationhttps://arxiv.org/abs/2405.11430 ...
10. EEG Eve State Dataset 眼部状态脑电图数据集 该数据集包含了 EEG 测量的实例,其输出是眼睛是睁开还是闭合的状态。数据集中的值按时间顺序排列,其中 0 表示眼睛睁开状态,1 表示眼睛闭合状态。数据集包含 14 个 EEG 测量值,分别标记为 AF3, F7, F3, FC5, T7, P, O1, O2, P8, T8, FC6, F4,...
Is evaluation on MMLU dataset supported? I can find corresponding codes here: https://github.com/OpenGVLab/OmniQuant/blob/main/categories.py But can not find any API which can be called. Copy link Collaborator ChenMnZcommentedNov 10, 2023 ...
10. EEG Eve State Dataset 眼部状态脑电图数据集 该数据集包含了 EEG 测量的实例,其输出是眼睛是睁开还是闭合的状态。数据集中的值按时间顺序排列,其中 0 表示眼睛睁开状态,1 表示眼睛闭合状态。数据集包含 14 个 EEG 测量值,分别标记为 AF3, F7, F3, FC5, T7, P, O1, O2, P8, T8, FC6, F4,...
10. EEG Eve State Dataset 眼部状态脑电图数据集 该数据集包含了 EEG 测量的实例,其输出是眼睛是睁开还是闭合的状态。数据集中的值按时间顺序排列,其中 0 表示眼睛睁开状态,1 表示眼睛闭合状态。数据集包含 14 个 EEG 测量值,分别标记为 AF3, F7, F3, FC5, T7, P, O1, O2, P8, T8, FC6, F4,...