domingo, 29 de novembro de 2015

Biografia de Claude Shannon

(no image)
Claude Elwood Shannon. Nasceu em Petoskey, Michigan, a 30 de Abril de 1916, e, faleceu em Medford, Massachusetts, a 24 de Fevereiro de 2001. Claude Shannon foi um matemático, engenheiro eletrônico e criptógrafo estadunidense, conhecido como “o pai da teoria da informação”. De 1932 a 1936, estudou matemática e engenharia elétrica na Universidade de Michigan. Em 1948, publicou o importante artigo científico intitulado A Mathematical Theory of Communication enfocando o problema de qual é a melhor forma para codificar a informação que um emissor queira transmitir para um receptor. Neste artigo, trabalhando inclusive com as ferramentas teóricas utilizadas por Norbert Wiener, Claude Shannon propôs com sucesso uma medida de informação própria para medir incerteza sobre espaços desordenados (mais tarde complementada por Ronald Fisher, que criou uma medida alternativa de informação apropriada para medir incerteza sobre espaços ordenados). Em 1949, em co-autoria com o também matemático estadunidense Warren Weaver (1894-1978), publicou o livro Teoria Matemática da Comunicação (The Mathematical Theory of Communication), contendo reimpressões do seu artigo científico de 1948 de forma acessível também a não-especialistas - isto popularizou seus conceitos. Entre 1946 e 1953, Claude Shannon integrou temporariamente o grupo reunido sob o nome de Macy Conferences, contribuindo para a consolidação da teoria cibernética junto com outros cientistas renomados: Arturo Rosenblueth, Gregory Bateson, Heinz von Foerster, John von Neumann, Julian Bigelow, Kurt Lewin, Lawrence Kubie, Lawrence K. Frank, Leonard Jimmie Savage, Margaret Mead, Molly Harrower, Norbert Wiener, Paul Lazarsfeld, Ralph Waldo Gerard, Walter Pitts, Warren McCulloch e William Ross Ashby; além de Erik Erikson e Max Delbrück. Shannon é famoso por ter fundado a teoria da informação com um artigo publicado em 1948. Mas a ele também é creditado como fundador tanto do computador digital como do projeto de circuito digital em 1937, quando, com 21 anos de idade e aluno de mestrado no MIT, ele escreveu uma tese demonstrando que uma aplicação elétrica utilizando álgebra booleana poderia resolver qualquer problema de lógica. Tem sido dito que esta foi a tese de mestrado de mais importância de todos os tempos. Shannon contribui para o campo da criptoanálise durante a segunda guerra mundial.


Biografia


Shannon nasceu em Petoskey, Michigan. Seu pai, Claude Sr (1862–1934), um descendente dos primeiros colonos de New Jersey, foi um empresário bem sucedido e foi juiz por um certo tempo. Sua mãe , Mabel Wolf Shannon (1890–1945), filha de imigrantes alemães, era uma professora de línguas. Os primeiros 16 anos de Shannon foram em Gaylord, Michigan, onde ele frequentou o ensino público, graduando-se no Gaylord High School em 1932. Shannon mostrou uma inclinação para coisas mecânicas, seus melhores talentos eram para a ciência e matemática. Em casa construiu dispositivos tais como modelos de aviões, um modelo de um barco controlado por rádio e um sistema de telégrafo. Enquanto crescia, trabalhava como mensageiro da Western Union. Seu herói de infância era Thomas Edison, que descobriu depois ser um primo distante. Ambos eram descendentes de John Ogden, um líder colonial e um ancestral de muitas pessoas ilustres.


Teoria booleana


Em 1932 Shannon começou a cursar a Universidade de Michigan, formando em 1936 com duas graduações de bacharelado em engenharia elétrica e matemática. Posteriormente, começou seus estudos de pós-graduação no Instituto de Tecnologia de Massachusetts (MIT), onde trabalhou com o analisador diferencial de Vannevar Bush, um computador lógico. Ao estudar os complexos circuitos ad hoc do analisador diferencial, Shannon viu que os conceitos de George Boole, inventor da álgebra booleana, poderia ser útil para várias coisas. Um documento elaborado a partir da sua tese de mestrado em 1937, A Symbolic Analysis of Relay and Switching Circuits, foi publicado na edição de 1938 da Transactions of the American Institute of Electrical Engineers. Howard Gardner, da universidade de Harvard, chamou a tese de Shannon como possivelmente a mais importante e também a mais famosa tese de mestrado do século”. Neste trabalho, Shannon provou que a álgebra booleana e a aritmética binária poderiam ser utilizadas para simplificar o arranjo dos relés eletromecânicos e então utilizados em comutadores para roteamento telefônico. Expandindo o conceito ele também mostrou que deveria ser possível a utilização de arranjos de relés para resolver problemas de álgebra booleana. A exploração dessa propriedade de interruptores elétricos criou a lógica e os conceitos mais básicos dos computadores digitais. O trabalho de Shannon tornou-se o principal na área de circuitos digitais quando se tornou amplamente conhecido entre a comunidade de engenharia elétrica durante e após a segunda guerra mundial. O trabalho teórico rigoroso de Shannon substituiu completamente os métodos ad hoc que haviam prevalecido anteriormente. Em 1940, Shannon se tornou pesquisador do Instituto nacional de Estudos Avançados em Princeton, Nova Jersey. Em Princeton, Shannon teve a oportunidade de discutir suas idéias com cientistas e matemáticos influentes como Hermann Weyl e John von Neumann, além de um encontro ocasional com Albert Einstein. Shannon trabalhou livremente em todas as áreas, e começou a moldar as idéias que se tornariam a teoria da informação.


Pesquisa em tempo de guerra


Shannon em seguida juntou-se a Bell Labs para trabalhar em sistemas de controle de fogo e criptografia durante a Segunda Guerra Mundial, sob um contrato com a seção D-2 (Seção de Controle de Sistemas) do Comitê Nacional de Pesquisa em Defesa. Conheceu sua esposa quando era um analista numérico na Bell Labs. Casaram em 1949. Durante dois meses no início de 1943, Shannon entrou em contato como o criptoanalista líder e matemático britânico Alan Turing. Turing havia sido enviado para Washington para compartilhar com o serviço de criptoanálise da marinha dos EUA os métodos utilizados pela escola de códigos e cifras do governo britânico em Bletchley Park para quebrar as cifras utilizadas pelos submarinos alemães no Atlântico Norte. Ele também ficou interessado em cifragem de fala e para isso ficou um tempo no Bell Labs. Shannon e Turing se encontraram na hora do lanche em uma cafeteria e Turing mostrou a Shannon seu artigo que definiu o que hoje é conhecido como a "Máquina Universal de Turing". Em 1945, quando a guerra estava chegando ao fim, o NDRC estava emitindo um resumo dos relatórios técnicos como sua última atividade antes de seu eventual fechamento. Dentro do volume de controle de fogo um documento especial intitulado "Suavização de Dados e Previsão em Sistemas de Controle de Fogo", coautoria de Shannon, Ralph Beebe Blackman, e Hendrik Wade Bode, formalmente tratava do problema de suavização dos dados no controle de incêndio por analogia com “o problema de separar um sinal de um ruído interferindo no sistema de comunicação”. Em outras palavras foi modelado o problema em termos de dados e processamento de sinal e assim, anunciava o início da era da informação. Seu trabalho em criptografia foi mais estreitamente relacionada com suas publicações posteriores sobre a teoria da informação. No final da guerra, ele preparou um memorando para a Bell Telephone Labs intitulado "Uma Teoria Matemática da Criptografia", datada de Setembro de 1945. Uma versão desclassificada deste trabalho foi posteriormente publicada em 1949 como "Teoria da Comunicação de Sistemas Secretos" no Bell System Technical Journal. Este trabalho incorporou muitos dos conceitos e formulações matemáticas que também apareceram em seu "Uma Teoria Matemática da Comunicação". Shannon disse que suas idéias em teoria da comunicação e criptografia durante a guerra haviam sido desenvolvidas simultaneamente e " elas estavam tão juntas que você não podia separá-las". Em note de rodapé perto do início do relatório classificado, Shannon anunciou sua intenção de “desenvolver estes estudos... em um memorando sobre a transmissão de informações". Enquanto na Bell Labs, ele provou que a one-time pad (OTP: cifra de uso único ou chave de uso único), é uma técnica de criptografia que não pode ser quebrada se utilizada corretamente. Era inquebrável em sua pesquisa que mais tarde foi publicada em Outubro de 1949. Ele também provou que qualquer sistema inquebrável deve ter essencialmente as mesmas características do one-time pad: A chave deve ser verdadeiramente aleatória, tão grande quanto o texto original, nunca reutilizada e mantida em segredo.


Contribuições pós-guerra


Em 1948, o memorando prometido apareceu como "A Mathematical Theory of Communication", um artigo com duas partes nas edições de Julho e Outubro do Bell System Technical Journal. Este trabalho enfoca no problema da melhor forma de codificar uma informação que um remetente deseja transmitir. Neste trabalho fundamental ele usou ferramentas da teoria da probabilidade, desenvolvidas por Norbert Wiener, que estavam em seus estágios iniciais de serem aplicadas a teoria das comunicações na época. Shannon desenvolveu a entropia da informação como uma medida de incerteza em uma mensagem. Contribuição fundamental da teoria da informação para processamento de linguagem natural e lingüística computacional foi ainda estabelecida em 1951, em seu artigo "Previsão e Entropia de Impresso Inglês", mostrando limites superior e inferior da entropia nas estatísticas de Inglês - dando uma base estatística para análise da linguagem. Outro papel notável publicado em 1949 é a "Communication Theory of Secrecy Systems", uma versão desclassificada do seu trabalho em tempo de guerra sobre a teoria matemática de criptografia , no qual ele provou que todas as cifras teoricamente inquebrável deve ter os mesmos requisitos que a one-time pad. A ele também é creditado a introdução da teoria da amostragem, que se preocupa com o que representa um sinal de tempo contínuo a partir de um conjunto (uniforme) discreto de amostras. Essa teoria foi essencial para permitir a passagem das telecomunicações dos sistemas analógicos para sistemas digitais no ano de 1960 e posteriores.


Hobbies e Invenções


Fora de suas pesquisas acadêmicas, Shannon estava interessado em malabarismo, monociclo, e xadrez. Ele também inventou diversos dispositivos. Um dos seus dispositivos mais engraçados era uma caixa mantida em sua mesa chamada de "Máquina Definitiva", baseada em uma idéia de Marvin Minsky. Além disso, ele construiu um dispositivo que poderia resolver o Cubo de Rubik. Também é considerado co-inventor do primeiro computador portátil, juntamente com Edward O. Thorp. O dispositivo foi utilizado para melhorar as chances quando se joga roleta.


Legado e homenagens


Shannon chegou ao MIT em 1956, para se juntar ao corpo docente e para realizar um trabalho no Laboratório de Pesquisa de Eletrônica (RLE). Ele continuou a servir no corpo docente do MIT até 1978. Para comemorar suas conquistas, houve celebrações de seu trabalho em 2001, e atualmente há seis estátuas de Shannon esculpido por Eugene L. Daub: um na Universidade de Michigan, uma no MIT no Laboratório de Sistemas de Informação e Decisão, um em Gaylord, Michigan, um na Universidade da Califórnia, San Diego, uma no Bell Labs, e outro no Labs Shannon AT & T. Após o rompimento na Bell, a parte do Bell Labs que ficou com a AT & T foi nomeado Shannon Labs em sua honra.
De acordo com Neil Sloane, a perspectiva introduzida por Shannon da teoria da comunicação (agora chamada de teoria da informação) é a base da revolução digital, e cada dispositivo que contém um microprocessador ou microcontrolador é um descendente conceitual da publicação de Shannon. "... Ele é um dos grandes homens do século, sem ele, nenhuma das coisas que conhecemos hoje existiria. Toda a revolução digital começou com ele".
Shannon desenvolveu a doença de Alzheimer, e passou seus últimos anos em um asilo de Massachusetts. Ele foi auxiliado por sua esposa, Mary Elizabeth Moore Shannon, o filho, Andrew Moore Shannon; a filha, Shannon Margarita, uma irmã, Catherine S. Kay e suas duas netas.


Número de Shannon


Número de Shannon (10120) é uma estimativa da complexidade de jogo do xadrez. Ele foi calculado pela primeira vez por Claude Shannon. De acordo com ele, em média, 40 movimentos são feitos no jogo de xadrez e cada jogador escolhe um movimento entre 30 (embora possa haver menos movimentos, bem como nenhum - como no caso do xeque-mate ou empate - ou muitos como 218). Entretanto, (30×30)40, isto é, 90040 jogos de xadrez são possíveis. Este número é aproximadamente 10120, valor que se obtém ao resolver a equação: 90040=10x que é x=40×log 900. A complexidade do xadrez é atualmente avaliada em aproximadamente 10123 (o número de posições legais no jogo de xadrez é estimado entre 1043 e 1050). Como comparação, o número de átomos no Universo, com o qual é frequentemente comparado, é estimado entre 4×1078 e 6×1079.


Índice de Shannon


O índice de Shannon (também chamado de índice Shannon-Weaver ou de índice do Shannon-Wiener) é um dos diversos índices da diversidade usados para medir a diversidade em dados categóricos. É simplesmente a informação entropica da distribuição, tratamento as espécies como símbolos e o tamanhos da respectiva população como uma probabilidade. Este artigo trata a sua utilização para medir a biodiversidade. A vantagem deste índice é que ele leva em consideração o número das espécies e a espécies dominantes. O índice é incrementado, quer por terem adicionado uma única espécie, ou por terem uma importante equitatividade. O nome "Shannon-Weaver" é uma contração imprópria; aparentemente alguns biólogos concluíram erradamente que Warren Weaver, autor de um influente prefácio do livro formulado por Claude Shannon publicado em 1948 papel fundador da teoria da informação, era uma Cofundador desta teoria. Weaver teve um papel crucial no rápida desenvolvimento da teoria informação, no pós guerra, de um modo diferente, no entanto, como um influente administrador da Fundação Rockefeller, ele garantiu que a primeira publicações teóricos recebessem generosas doações para a pesquisa. Norbert Wiener não tinha em mão se quer o índice, embora sua influência seja popular na cibernética era frequentemente relacionado a teoria da informação na década de 1950.


Definições



  • n_i O número dos indivíduos em cada espécie; a abundância de cada espécie.
  • S O número de espécies. Chamado também de riqueza.
  • N O número total de todos os indivíduos: \sum_{i=1}^S n_i
  • p_i A abundância relativa de cada espécie, calculada pela proporção dos indivíduos de uma espécie pelo número total dos indivíduos na comunidade: n_i\over N

 

Calculando o índice


H^\prime = -\sum_{i=1}^S p_i \ln p_i
Aplicando o cálculo, que pode ser demonstrado para um qualquer dado número de espécies, onde há um máximo possível H^\prime , H_\max=\ln S o qual ocorre quando todas as espécies que estão presentes ocorrem em igual número.


A prova de que máximo igualdade maximiza o índice


O resultado vai provar que uma determinada população terá um Índice Shannon máximo se e somente se cada espécie representada é composta pelo mesmo número de indivíduos


Expandindo o índice:

H^\prime = -\sum_{i=1}^S {n_i\over N} \ln {n_i\over N}
N H^\prime = -\sum_{i=1}^S n_i \left ( \ln n_i - \ln N \right )= -\sum_{i=1}^S n_i \ln n_i + \ln N \sum_{i=1}^S n_i
N H^\prime - N \ln N = -\sum_{i=1}^S n_i \ln n_i
Agora, vamos definir H_s = -\sum_{i=1}^S n_i \ln n_i Como é evidente, desde que N seja uma constante positiva de um determinado tamanho populacional, e N\ln N também é uma constante, então a maximação H_s equivale a maximação H^\prime .



Estratégia

Vamos dividir arbitrariamente uma comunidade de um determinado tamanho em dois grupos, com cada grupo que recebe um número arbitrário de indivíduos e um número arbitrário de espécies. Agora, dentro de cada grupo, cada espécie tem o mesmo número dos indivíduos que quaisquer outras espécies do grupo, mas o número dos indivíduos por espécies no primeiro grupo pode ser diferentes do número dos indivíduos por espécies no segundo grupo. Agora, se se puder provar que alcança o ponto máximo quando o número dos indivíduos por espécies no primeiro grupo combina o número dos indivíduos por espécies no segundo grupo, tem-se provado então que a população tem um índice máximo somente quando cada espécie na população é representada uniformemente. não depende da população total. Assim pode ser construído simplesmente somando os índices de duas subpopulações. Desde que o tamanho da população é arbitrário, isto prova que se você tiver duas espécies (o número o menor que pode ser considerado dois grupos), seu índice é maximizado se estiverem presente em iguais números. As regras da Indução matemática foram assim satisfeitas.


Firmeza


Agora, divide-se as espécies em dois grupos. Dentro de cada grupo, a população é distribuída uniformemente entre as espécie presente.


  • k O número dos indivíduos no segundo grupo.
  • p O número de espécie no segundo grupo.
  • n_{i2} = k/p Número dos indivíduos em cada espécie no segundo grupo.
  • N-k O número dos indivíduos no primeiro grupo.
  • S-p As espécies no primeiro grupo.
  • n_{i1} = {N-k \over S-p} Os indivíduos em cada espécie no primeiro grupo.
H_s = -\sum_{i=1}^{S-p} {N-k \over S-p} \ln {N-k \over S-p}    - \sum_{i=1}^p {k\over p} \ln {k \over p}  = -\left ( N-k \right ) \ln  {N-k \over S-p}    - k \ln {k\over p}.
Para descobrir o valor de k maximiza H_s , nós devemos encontrar o valor de k que satisfaça à equação:
{d\over dk}\, H_s=0.
Diferenciação,
\ln { N-k \over S-p} + (N-k){1 \over N-k} - \ln {k\over p} - k {1 \over k} = 0,
\ln {N-k\over S-p} = \ln {k \over p}
Exponenciação:
{N-k\over S-p} = {k \over p} = {pN \over S}.
Agora aplicando as definições de N_{i1} e de N_{i2} , nós obtemos
N_{i1} = N_{i2} = {N\over S}.



Resultado

 

Agora nós temos realizada a prova que o índice do Shannon-Wiener maximizado quando cada espécie presente está em números iguais. Mas que é o índice é esse caso? Bem, , assim conseqüentemente:
H_\max = - \sum_{i=1}^S {1\over S} \ln {1\over S} = \ln S.



Prêmios

Medalha Stuart Ballantine (1955)
Gibbs Lecture (1963)
Medalha Nacional de Ciências (1966)
Medalha de Honra IEEE (1966)
Prémio Harvey (1972)
Prêmio Claude E. Shannon (1972)
Medalha John Fritz (1983)
Prêmio Kyoto (1985)
National Inventors Hall of Fame (2004)

Tese: An Algebra for Theoretical Genetics. (1940).

Referências:


Nenhum comentário:

Postar um comentário

Observação: somente um membro deste blog pode postar um comentário.