Teoría de la información

Los conceptos básicos de esta teoría fueron introducidos en los años cuarenta del siglo XX por K. Shannon. Teoría de la información Es la ciencia de los procesos de transmisión, almacenamiento yadquisición de datos en sistemas naturales, técnicos y sociales. En muchas aplicaciones de campos científicos como la informática, la lingüística, la criptografía, teoría de control, procesamiento de imágenes, la genética, la psicología, la economía, la organización de los métodos de producción se utilizan esta ciencia.

En condiciones modernas con la teoría de la informaciónuna teoría de codificación que trata los problemas más comunes de correspondencia entre una señal y un mensaje está estrechamente relacionada, y la teoría del procesamiento de señales, en la que se estudia la cuantificación y la reconstrucción de señales, así como el análisis espectral y de correlación de tales señales.

La teoría de la información considera el concepto básico"Información" en su mayor parte desde el lado cuantitativo, sin tener en cuenta su valor y, a veces, el significado. Con este enfoque, la página del texto contendrá aproximadamente la misma cantidad de datos, definida solo por el número de caracteres y símbolos, y no dependiendo de qué, estrictamente hablando, haya impreso, aunque sea absolutamente sin sentido y un conjunto caótico de ciertos símbolos.

Tal enfoque es legítimo, pero solo paramodelar sistemas de comunicación, ya que deben transmitir información con precisión a través de canales de comunicación, que pueden representarse mediante cualquier conjunto de signos y símbolos. Al mismo tiempo, cuando es necesario tener en cuenta el valor y el significado de los datos, el enfoque cuantitativo es inaceptable. Tales circunstancias imponen limitaciones significativas en las áreas de posible aplicación de esta teoría.

Los fundamentos de la teoría de la información suponenconsideración de varias cuestiones, incluidas las directamente relacionadas con la transmisión y recepción de datos. El esquema básico de comunicación, que se considera en la enseñanza, es el siguiente. Teoría de la información y la codificación cree que los datos son creados por la fuentemensajes, que es una palabra o un conjunto de palabras escritas en las letras de un cierto alfabeto. La fuente del mensaje puede ser texto en cualquier lenguaje natural o artificial, discurso humano, bases de datos y algunos modelos matemáticos que crean una secuencia de letras. El transmisor convierte el mensaje en una señal correspondiente a la naturaleza física del canal de comunicación, el medio para la transmisión de señal. Durante el paso de dicha interferencia, que introduce distorsiones en los valores de los parámetros de información, puede actuar sobre ella. El receptor restaura el mensaje original de acuerdo con la señal recibida con distorsión. El mensaje en la forma restaurada llega al destinatario: alguna persona o dispositivo técnico.

La fuente del mensaje es de naturaleza estadística,es decir, la apariencia de cada mensaje está determinada por alguna probabilidad. Teoría de la información Shannon cree que si la probabilidad de la aparición del mensaje es igual a uno, es decir, su apariencia es confiable e incierta, no hay información.

Uno de los problemas importantes de la teoría de la información es la coordinación del canal de comunicación y las propiedades de información de la fuente de mensajes. El ancho de banda está determinado por una unidad de medida de 1 bit por segundo.

Uno de los problemas de los sistemas de comunicación es la interferencia enel camino de una señal útil. El teorema de Shannon, desafortunadamente, no nos da un método concreto para tratar con tal. El método más simple de eliminación, que consiste en la repetición repetida de mensajes, no es muy efectivo, ya que lleva mucho tiempo transferir información. Mucho más efectivo es el uso de códigos que pueden detectar y corregir errores en la transmisión de información.