[Todos] Charla Alon Orlitsky: Teoría de la información y estimación de probabilidades

[Ana Ruedin]

Se confirma la charla (en inglés) sobre

Teoría de la información y estimación de probabilidades

Martes 21 de Marzo 15 hrs Ciudad Universitaria 
Aula 6 Pabellón I
-----------------------------------------------------------

Teoría de la información y estimación de probabilidades
 desde Shannon a Shakespeare via Laplace, Good, Turing, Hardy,   
Ramanujan y Fisher

                Alon Orlitsky, ECE and CSE, UCSD

Los resultados estandard de teoría de la información muestran que los
datos sobre alfabetos pequeños, típicamente binarios, pueden ser
comprimidos alcanzando el límite de la entropía de Shannon. Sin embargo,
para la compresión de fuentes de datos más prácticos, como son texto,
audio o video, es necesario estimar probabilidades de eventos improbables,
algunas veces no vistos, un problema considerado por Laplace. El mejor de
los estimadores existentes, el obtenido por Good y Turing mientras
decifraban el código Enigma,  no es óptimo.
Los resultados de Hardy y Ramanujan sobre el número de particiones enteras
proveen un estimador asintóticamente óptimo, que comprime patrones de
datos de un alfabeto arbitrario a su entropía. El mismo enfoque generaliza
el trabajo de Fisher, permitiendo estimar el número de especies de
mariposa y su extensión que permite verificar la autenticidad de un poema
aparentemente escrito por Shakespeare. La charla cubre todos estos temas y
es autocontenida.

-------------------------------------------------------------------

Information Theory and Probability Estimation:

            From Shannon to Shakespeare via Laplace,
           Good, Turing, Hardy, Ramanujan, and Fisher

                Alon Orlitsky, ECE and CSE, UCSD

Joint work with Prasad Santhanam, Krishna Viswanathan, and Junan Zhang

Standard information-theoretic results show that data over small,
typically binary, alphabets can be compressed to Shannon's entropy
limit. Yet most practical sources, such as text, audio, or video,
have essentially infinite support. Compressing such sources requires
estimating probabilities of unlikely, even unseen, events, a problem
considered by Laplace. Of existing estimators, an ingenious if cryptic
one derived by Good and Turing while deciphering the Enigma code works
best yet not optimally. Hardy and Ramanujan's celebrated results on the
number of integer partitions yield an asymptotically optimal estimator
that compresses arbitrary-alphabet data patterns to their entropy. The
same approach generalizes Fisher's seminal work estimating the number
of butterfly species and its extension authenticating a poem purportedly
written by The Bard. The talk covers these topics and is self contained.
--------------------------------------------------------------------

Alon Orlitsky received B.Sc. degrees in Mathematics and Electrical
Engineering from Ben Gurion University in 1980 and 1981, and M.Sc.
and Ph.D. degrees in Electrical Engineering from Stanford University
in 1982 and 1986.

>From 1986 to 1996 he was with the Communications Analysis Research
Department of Bell Laboratories. He spent the following year as a
quantitative analyst at D.E. Shaw and Company, an investment firm
in New York city. In 1997 he joined the University of California,
San Diego, where he is currently a professor of Electrical and
Computer Engineering and of Computer Science and Engineering.

Alon's research concerns information theory, learning, and speech
recognition. He is a recipient of the 1981 ITT International
Fellowship and of the 1992 IEEE W.R.G. Baker Paper Award.

 
-----------------------------------------
Dra. Ana Ruedin
Departamento de Computación
Facultad de Ciencias Exactas y Naturales
Universidad de Buenos Aires


Ciudad Universitaria, Pabellón I, P.B.
(C1428EGA) Buenos Aires. Argentina.
Tel.: +54-11-4576-3390/96 int 719
Fax: +54-11-4576-3359.

e-mail: anita en dc.uba.ar