Teoría de la información de Shannon


En la primera mitad del siglo XX hubo un avance significativo en los medios de comunicación, por ende, la forma en la que esta información se transmitía se volvió un tema de interés. El objetivo era enviar obtener información de los datos y no tener un gran volumen de datos vacíos ya que, toda la información consta de datos, pero no todos los datos constituyen información. Así que se desarrolla el primer modelo científico de proceso de comunicación llamado Teoría de la información o Teoría de la matemática de la comunicación las cuales nacen en el área de la telegrafía en donde se necesitaba saber la capacidad de los diferentes sistemas de comunicación para transmitir información. La primera formulación de las leyes matemáticas que gobiernan dicho sistema fue realizada por Hartley en 1928 y sus ideas son consideradas actualmente como la génesis de la teoría de la información. Posteriormente, Shannon y Weaver en 1949 desarrollaron los principios definitivos de esta teoría.

La teoría de la información de Shannon es uno de los avances científicos más importantes del siglo XX. Esta teoría tiene como objeto definir la cantidad de información que se encuentra en un dato, es decir, cuantificar la información. Esta teoría es fundamental en las operaciones de procesamiento de señales como comunicación, comprensión de datos y almacenamiento. Shannon estableció resultados matemáticos acerca de los recursos que se necesitan para la codificación óptima y para la comunicación libre de errores. Según su teoría, un sistema de comunicación general consta de:

  • Fuente: Se encarga de generar un mensaje y son clasificadas según la relación de mensajes enviados:
    • Aleatoria: No es posible conocer el mensaje a emitir.
    • Estructurada: Cuando hay cierto nivel de redundancia.
    • No estructurada: Símbolos aleatorios que no tienen ninguna relación o sentido aparente al mensaje anterior. Los datos no se pueden comprimir.
  • Transmisor: Transforma el mensaje generado por la fuente en una señal que se pueda transmitir. En el caso en donde la información se debe codificar, el transmisor se encarga del proceso.
  • Canal: Medio por el cual se transporta la información desde el transmisor hasta el receptor.
  • Receptor: Reconstruye el mensaje a partir de la señal de forma que el destinatario pueda leer.

Este sistema de comunicaciones es lo suficiente amplio como para incluir cualquier tecnología de diferentes contextos como TV, datos, imágenes, radio, etc. El problema del significado del mensaje no es relevante ya que el interés principal de la teoría de la información lo cnstituye todo lo que se encuentra relacionado con la capacidad y fidelidad para transmitir información de los diferentes sistemas de comunicación. Si se mira la teoría de la información en general se tiene que esta trata acerca de la cantidad de información que es transmitida por a fuente al receptor al enviar un determinado mensaje, sin considerar el sigificado o propósito de éste. Por lo que, esta teoría se basa en cuánta información es transmitida.

Información: Este término es definido bajo los términos de la estadística, suponiendo que puede manejarse de forma similar a las cantidades físicas como la masa y la energía. El concepto de información se relaciona con la libertad de elección que tenemos para seleccionar un mensaje determinado de un conjunto de posibles mensajes. La teoría de la información toma este concepto y lo aplica el término de información como el grado de libertad de una fuente para elegir un mensaje de un conjunto de posibles mensajes.

Este concepto supone la existencia de una incertidumbre. La incertidumbre implica que existen diferentes alternativas que deben de ser seleccionadas o discriminadas. Alternativas que pueden referirse a cualquier conjunto de signos que pertenecen a la comunicación o mensaje como letras, numéros, ondas, etc. En este orden de ideas, las señales contienen información en virtud de su potencial para hacer elecciones y operan sobre alternativas que conforman la incertidumbre del receptor, proporcionando el poder de seleccionar o discriminar dichas alternativas.

Se asume que tanto el transmisor como el receptor tienen el mismo conjunto de signos. La función de la fuente de información es seleccionar las señales que conforman el mensaje y luego transmitirlas por medio de un canal al receptor.

La informacion debe de medirse y esta asociada a una probabilidad. Ya que uno de los principales objetivos de esta teoría es determinar la cantidad de información que contiene un mensaje. La probabilidad es calculada a partir de su probabilidad de ser enviada. Para mayor aclaración se mencionará los principios de la información:

Cuando se habla de la informción de un mensaje y teniendo en cuenta que la información está ligada con la probabilidad se puede concluir que entre más predecible sea un mensaje menos información contiene. Por eso la teoría establece que, entre más probable sea un mensaje menos información proporcionará. Un ejemplo de eso es, si en una zona lluviosa se determina que lloverá todo un día este mensaje no contendría información ya que es muy probable que llueva por las características de la zona, en este caso un mensaje con información sería que un día no lloverá y la temperatura será elevada. Lo anterior contiene información porque es muy poco probable que no llueva en un día y en cambio sea un día soleado con una alta temperatura. Para medir la información de un mensaje se tiene la siguiente equación:

Donde:
I(xi): Cantidad de información propocionada por xi
p(xi): Probabilidad de xi

Según lo anterior, el contenido solo es importante en la medida que afecta la probabilidad. 

Un segundo principio que guarda relación con las elecciones sucesivas establece que si son seleccionados los mensajes X e Y, la cantidad de información proporcionada por ambos mensajes será igual a la cantidad de información proporcionada por Y, dado que X ya ha sido seleccionada. Lo anterior puede ser expresado así:
Donde:
I(xi e yj): Cantidad de información proporcionada por los mensajes xi e yj.
f: Función
p(xi): Probabilidad de xi
p(yj/xi): Probabilidad de yj dado que xi ha sido seleccionado.

Entropía: La entropía es la información de cada mensaje, se calcula a base de logaritmos. Según Shannon, "La medida de información debe de ser continua (proporcional). El cambio pequeño en una de las probabilidades de aparición de uno de los elementos de la señal debe de cambiar poco la entropía". Si todos los elementos son equiprobables al momento de aparecer entonces la entropía será máxima. La máxima entropía se asocia con el máximo desorden en el mensaje. Cuando estamos hablando de un mensaje digital el logaritmo debe de ser base 2 ya que solo hay dos posibles resultados uno o cero (bits).

A continuación hay un video sobre los modelos de comunicación según Shannon y Weaver


Existen distintas interpretaciones sobre la noción de la información de Shannon. Una de las interpretaciones más comunes es la que se da en los términos del conocimiento. En muchas de las aplicaciones la información provee conocimiento y modifica el estado de los que la reciben. Se podría decir que la información y el conocimiento son del uso cotidiano de la información pero, Frank Dretske afirma que "la información es una mercancía que, dado el receptor correcto, es capaz de entregar conocimiento pero algunos libros sostiene que la información se mide como una diferencia entre el estado de conocimiento del receptor antes y después de la comunicación de la información. También hay otros autores que sostienen que la información es una magnitud física, la cual, es una posición de algunos físicos de hoy en día. Lo que quiere decir que la información puede ser almacenada, acumulada y convertida de una forma a otra, por lo que el conocimiento ya no es un tema central.



El objetivo de este modelo es mejorar la eficacia en la transmisión de información, a través de:
  • La velocidad en la crwación y transmisión de los mensajes.
  • Capacidad de los canales de comunicación.
  • Codificacióneficaz de los mensajes, que evite la ambigüedad y los ruidos entre emisor y receptor.
El modelo de Shannon y Wever es muy atractivo por du sencillez y flexibilidad. Pero análisis más detallados muestrab que en realidad no es más que un modelo E-R ampliado. Dicho modelo explica poco sobre la comunicación humana.




El debate sobre las interpretaciones de la noción de la información es tan extenso que quizá aún continua, hay muchos más argumentos de los que se expusieron en este blog, por lo que sería imposible exponerlos todos. Hay distintas probabilidades y conceptos sobre que es la noción de la información y como se debería de manejar y analizar. Pero entonces, ¿Qué camino tomar? ¿De que autor se debe basar? Desde un punto de vista filosófico, se podría afirmar que este es un caso de indeterminación metafísica lo que quiere decir que se tiene una teoría que explica fenómenos físicos pero la evidencia empírica disponible no es suficiente para tomar una posición determinada. 

Toda la información de este fue sacada de:
Fundamentos de la teoría de la información - Mauricio Correa Villa.

Comentarios

Entradas populares