Interacțiunea dintre informații și măsurile de estimare

Titlul original:

The Interplay Between Information and Estimation Measures

Conținutul cărții:

Dacă teoria informației și teoria estimării sunt privite ca două limbaje științifice, atunci vocabularele lor cheie sunt măsurile informației și, respectiv, măsurile estimării. Măsurile de bază ale informației sunt entropia, informația reciprocă și entropia relativă.

Printre cele mai importante măsuri de estimare se numără eroarea pătratică medie (MSE) și informația Fisher. Având un rol primordial în teoria informației și în teoria estimării, aceste măsuri sunt asemănătoare masei, forței și vitezei în mecanica clasică sau energiei, entropiei și temperaturii în termodinamică. Interacțiunea dintre măsurile de informare și cele de estimare se dorește a fi un manual de formule cunoscute care au legătură directă cu măsurile de informare și cele de estimare.

Acesta oferă o intuiție și stabilește conexiuni între aceste formule, evidențiază unele aplicații importante și motivează explorări ulterioare. Accentul principal se pune pe astfel de formule în contextul modelului de zgomot aditiv gaussian, cu o tratare mai redusă a altora, cum ar fi canalul procesului punctual Poisson.

De asemenea, sunt incluse o serie de rezultate noi care sunt publicate aici pentru prima dată. Sunt furnizate dovezi ale unor rezultate de bază, în timp ce multe dovezi mai tehnice deja disponibile în literatura de specialitate sunt omise. În 2004, autorii acestei monografii au găsit o relație diferențială generală denumită în mod obișnuit formula I-MMSE.

În această carte este dezvoltată o nouă demonstrație completă pentru formula I-MMSE, care include unele detalii tehnice omise în lucrările originale referitoare la aceasta. The Interplay Between Information and Estimation Measures se încheie prin evidențierea impactului relațiilor dintre informație și estimare asupra unei varietăți de probleme teoretice ale informației de interes actual și oferă o perspectivă suplimentară asupra aplicațiilor lor.