Dataset Information

A la Recherche du Temps Perdu: extracting temporal relations from medical text in the 2012 i2b2 NLP challenge.

ABSTRACT:

Objective

An analysis of the timing of events is critical for a deeper understanding of the course of events within a patient record. The 2012 i2b2 NLP challenge focused on the extraction of temporal relationships between concepts within textual hospital discharge summaries.

Materials and methods

The team from the National Research Council Canada (NRC) submitted three system runs to the second track of the challenge: typifying the time-relationship between pre-annotated entities. The NRC system was designed around four specialist modules containing statistical machine learning classifiers. Each specialist targeted distinct sets of relationships: local relationships, 'sectime'-type relationships, non-local overlap-type relationships, and non-local causal relationships.

Results

The best NRC submission achieved a precision of 0.7499, a recall of 0.6431, and an F1 score of 0.6924, resulting in a statistical tie for first place. Post hoc improvements led to a precision of 0.7537, a recall of 0.6455, and an F1 score of 0.6954, giving the highest scores reported on this task to date.

Discussion and conclusions

Methods for general relation extraction extended well to temporal relations, and gave top-ranked state-of-the-art results. Careful ordering of predictions within result sets proved critical to this success.

SUBMITTER: Cherry C

PROVIDER: S-EPMC3756270 | biostudies-literature | 2013 Sep-Oct

REPOSITORIES: biostudies-literature

ACCESS DATA

Publications

A la Recherche du Temps Perdu: extracting temporal relations from medical text in the 2012 i2b2 NLP challenge.

Cherry Colin C Zhu Xiaodan X Martin Joel J de Bruijn Berry B

Journal of the American Medical Informatics Association : JAMIA 20130323 5

<h4>Objective</h4>An analysis of the timing of events is critical for a deeper understanding of the course of events within a patient record. The 2012 i2b2 NLP challenge focused on the extraction of temporal relationships between concepts within textual hospital discharge summaries.<h4>Materials and methods</h4>The team from the National Research Council Canada (NRC) submitted three system runs to the second track of the challenge: typifying the time-relationship between pre-annotated entities. ...[more]

PMID: 23523875

Similar Datasets

Project description:BackgroundEnzymatic and chemical reactions are key for understanding biological processes in cells. Curated databases of chemical reactions exist but these databases struggle to keep up with the exponential growth of the biomedical literature. Conventional text mining pipelines provide tools to automatically extract entities and relationships from the scientific literature, and partially replace expert curation, but such machine learning frameworks often require a large amount of labeled training data and thus lack scalability for both larger document corpora and new relationship types.ResultsWe developed an application of Snorkel, a weakly supervised learning framework, for extracting chemical reaction relationships from biomedical literature abstracts. For this work, we defined a chemical reaction relationship as the transformation of chemical A to chemical B. We built and evaluated our system on small annotated sets of chemical reaction relationships from two corpora: curated bacteria-related abstracts from the MetaCyc database (MetaCyc_Corpus) and a more general set of abstracts annotated with MeSH (Medical Subject Headings) term Bacteria (Bacteria_Corpus; a superset of MetaCyc_Corpus). For the MetaCyc_Corpus, we obtained 84% precision and 41% recall (55% F1 score). Extending to the more general Bacteria_Corpus decreased precision to 62% with only a four-point drop in recall to 37% (46% F1 score). Overall, the Bacteria_Corpus contained two orders of magnitude more candidate chemical reaction relationships (nine million candidates vs 68,0000 candidates) and had a larger class imbalance (2.5% positives vs 5% positives) as compared to the MetaCyc_Corpus. In total, we extracted 6871 chemical reaction relationships from nine million candidates in the Bacteria_Corpus.ConclusionsWith this work, we built a database of chemical reaction relationships from almost 900,000 scientific abstracts without a large training set of labeled annotations. Further, we showed the generalizability of our initial application built on MetaCyc documents enriched with chemical reactions to a general set of articles related to bacteria.

Project description:Introduction La pandémie de COVID-19 a eu un fort impact sur la prise en charge des cancers. Plusieurs études ont rapporté une baisse importante du nombre de diagnostics de cancers cutanés durant le confinement de mars 2020 (C), mais peu ont rapporté les conséquences du retard diagnostique sur la sévérité. Notre objectif était d’évaluer l’impact immédiat du C et ses conséquences sur les caractéristiques des mélanomes nouvellement diagnostiqués les mois suivants. Matériel et méthodes Étude rétrospective monocentrique, dans un service de Dermatologie en Île-de-France, zone très touchée par la 1ère vague de COVID-19. Quatre périodes définies : – du 17/03/20 au 12/05/20 = confinement (C) ; – du 17/03/19 au 12/05/19 = équivalent de la même période l’année précédente (EC) ; – du 13/05/20 au 31/10/20 = post-confinement (PC) ; – du 13/05/19 au 31/10/19 = équivalent de la même période l’année précédente (EPC). Tous les patients vus en consultation pour la prise en charge d’un nouveau mélanome pendant ces périodes ont été inclus. Nous avons comparé le nombre de nouveaux cas, les caractéristiques anatomopathologiques et les stades AJCC entre les périodes C vs EC, et PC vs EPC. Résultats 493 cas consécutifs de mélanome (480 patients, âge moyen 62 ans ± 16, sexe-ratio M/F = 0,96) ont été inclus. Les proportions de mélanomes in situ était similaire dans les 4 groupes. En C vs EC, nous avons observé une baisse de 15,4 % de l’incidence des mélanomes, avec un indice de Breslow significativement plus élevé (2,18 mm ± 2,4 vs 1,63mm ± 2,8, p < 0,001). Les mélanomes incidents en PC étaient plus sévères qu’en EPC avec plus de stades III (13 % vs 6 %, p = 0,01) moins de stades I (35 % vs 48 %, p = 0,01). Le risque d’avoir un mélanome avec un Breslow ≥ 0,8 mm (OR = 1,75 ; IC95 % [1,19–2,63], p = 0,006), et d’être ulcéré (OR = 1,69 ; IC95 % [1,05–2,80], p = 0,034) était plus élevé en PC vs EPC ; le risque d’être en stade III d’emblée tendait à être plus élevé également (OR = 0,64 ; IC95 % [0,37–1,01], p = 0,06). Discussion Notre étude montre que le confinement du printemps 2020 en Île-de-France a eu un impact immédiat de diminution > 15 % de nouveaux diagnostics de mélanomes par rapport à une période équivalente l’année précédente et que cette baisse de fréquentation a eu des conséquences en terme de sévérité sur les mélanomes diagnostiqués les mois suivant cette période. Ainsi, le confinement peut être interprété comme un modèle expérimental démontrant qu’un retard diagnostique de 9 semaines peut entraîner une augmentation de la sévérité des mélanomes incidents, pouvant avoir des conséquences de morbi-mortalité et économiques. Le taux de mélanome in situ stable est en faveur de l’absence d’impact d’un retard modéré de diagnostic de ces mélanomes à croissance lente. Cette étude souligne l’importance des stratégies de dépistage pour les patients à risque, et l’intérêt de nouvelles pratiques comme la télémédecine pour tenter de limiter les délais de consultation de dépistage et de diagnostic.

Dataset Information

A la Recherche du Temps Perdu: extracting temporal relations from medical text in the 2012 i2b2 NLP challenge.

Objective

Materials and methods

Results

Discussion and conclusions

Publications

A la Recherche du Temps Perdu: extracting temporal relations from medical text in the 2012 i2b2 NLP challenge.

Similar Datasets

OmicsDI is part of the ELIXIR infrastructure