Home » D:News » Valoarea cuvintelor

Valoarea cuvintelor

Valoarea cuvintelor
Publicat: 25.08.2009
Pusa la punct de un grup de cercetatori de la Universitatea din Manchester, Marea Britanie, o metoda matematica identifica cuvintele cele mai semnificative dintr-un text.

Identificarea rapida a cuvintelor-cheie dintr-un text necunoscut reprezinta visul oricarui cercetator din domeniul lingvisticii si de-acum inainte, acest vis este realizabil gratie metodei matematice puse la punct de cercetatorii de la Universitatea din Manchester, care atribuie oricarui cuvant o “valoare informativa”, identificand astfel termenii cei mai relevanti dintr-un text citit pentru prima oara. Pentru a obtine aceasta valoare, oamenii de stiinta au masurat cat de uniform este distribuit fiecare cuvant (calculandu-i entropia conform teoriei informatiei, disciplina care studiaza elaborarea si distributia informatiei), atat intr-un text cu cuvintele aflate intr-o ordine fireasca, cat si cu ele toate amestecate. Inmultind diferenta intre cele doua valori ale entropiei fiecarui cuvant cu cu frecventa cuvantului respectiv, cercetatorii au obtinut unitatea de masura dorita: asa-numita “valoare informativa”.

Potrivit cercetatorilor englezi, ceea ce decreteaza valoarea unui termen este tocmai felul in care este distribuit intr-un text, si nu numarul absolut de repetari ale acestuia. Conjunctiile (si, asadar, deci, etc) sunt de exemplu utilizate frecvent, dar nu sunt semnificative (sunt in mod uniform distribuite atat intr-un text ordonat, cat si intr-unul dezordonat, prin urmare prezinta o valoare informativa scazuta). In schimb, tendinta de a grupa propozitiile in capitole si paragrafe confera cuvintelor semnificative o valoare foarte inalta, facandu-le recognoscibile.

Validitatea noii unitati de masura a fost confirmata de un text facut pe “Originea speciilor” a lui Charles Darwin, in care cuvintele cele mai valoroase au reiesit a fi: specie, varietate, hibrizi, forme, insule, selectie si gen. Desi sistemul pus la punct de cercetatori s-ar putea dovedi foarte util in decodificarea textelor cifrate sau scrise in limbi necunoscute, aplicatia principala a acestuia ar putea sa nu fie literatura, ci biologia, mai exact identificarea acelor gene care transporta informatii utile, considera Marcelor Montemuro, seful echipei de cercetare. “De altfel, atunci cand privim genomul ne pare cu adevarat ca ne aflam in fata unei limbi straine”, a precizat el. 

Sursa: Galileo

CITESTE SI:

 

 

 

 

Urmărește DESCOPERĂ.ro pe
Google News și Google Showcase
Cele mai noi articole
Femeile-pilot americane care au ajutat Aliații în cel de-Al Doilea Război Mondial
Femeile-pilot americane care au ajutat Aliații în cel de-Al Doilea Război Mondial
Calea Lactee „a înghițit” o galaxie numită Loki, iar astronomii au descoperit acum resturile sale
Calea Lactee „a înghițit” o galaxie numită Loki, iar astronomii au descoperit acum resturile sale
Oamenii de știință au descoperit o metodă surprinzătoare de a distruge substanțele chimice eterne
Oamenii de știință au descoperit o metodă surprinzătoare de a distruge substanțele chimice eterne
Mobilitate flexibilă în oraș: când închirierea bate proprietatea personală (P)
Mobilitate flexibilă în oraș: când închirierea bate proprietatea personală (P)
Soluții digitale pentru urgențe financiare: cum funcționează și ce să verifici (P)
Soluții digitale pentru urgențe financiare: cum funcționează și ce să verifici (P)
Prelucrarea CNC pentru producție: când automatizarea devine necesară (P)
Prelucrarea CNC pentru producție: când automatizarea devine necesară (P)
Un nou studiu sugerează că și greierii pot simți durerea
Un nou studiu sugerează că și greierii pot simți durerea
Unde practicau neanderthalienii stomatologia acum 60.000 de ani?
Unde practicau neanderthalienii stomatologia acum 60.000 de ani?
Un ou pe zi ne ferește de Alzheimer, sugerează un studiu
Un ou pe zi ne ferește de Alzheimer, sugerează un studiu
Ce s-a întâmplat în creierul oamenilor după ce cercetătorii le-au „dat aripi” în Realitatea Virtuală?
Ce s-a întâmplat în creierul oamenilor după ce cercetătorii le-au „dat aripi” în Realitatea Virtuală?
Oamenii dintr-un anumit loc din lume au dezvoltat o superputere digestivă ciudată
Oamenii dintr-un anumit loc din lume au dezvoltat o superputere digestivă ciudată
Legătura dintre avuție și sănătate: ratele obezității stagnează în țările bogate, dar cresc în țările în curs de dezvoltare
Legătura dintre avuție și sănătate: ratele obezității stagnează în țările bogate, dar cresc în țările în curs ...
Test de cultură generală. De ce urșii panda stau uneori în mâini?
Test de cultură generală. De ce urșii panda stau uneori în mâini?
Telescopul Webb a descoperit una dintre primele galaxii ale Universului
Telescopul Webb a descoperit una dintre primele galaxii ale Universului
Donald Trump nu renunță la Groenlanda. De ce sunt îngrijorați liderii groenlandezi?
Donald Trump nu renunță la Groenlanda. De ce sunt îngrijorați liderii groenlandezi?
Au trecut 64 de ani de când Marilyn Monroe i-a cântat „Happy birthday mr. President” lui Kennedy
Au trecut 64 de ani de când Marilyn Monroe i-a cântat „Happy birthday mr. President” lui Kennedy
Cât de pregătită este lumea pentru o nouă pandemie?
Cât de pregătită este lumea pentru o nouă pandemie?
Pentru prima dată în 15 ani, Germania are mai mult de 3 milioane de șomeri
Pentru prima dată în 15 ani, Germania are mai mult de 3 milioane de șomeri