Instalação da plataforma

A instalação da plataforma é bem simples. A arquitetura foi gerada e distribuída em uma biblioteca de sistema DLL. Sua implementação é em C# logo tivemos que utilizar um ambiente de desenvolvimento preparado para essa linguagem. Em nosso estudo foi utilizado o Mono em uma distribuição Ubuntu.

Utilizando um dos exemplos do tutorial, pudemos compilar e fazer o link do programa com a biblioteca CLARION.

Após criar um projeto de exemplo e uma vez o link de referencia a DLL estabelecido, nosso ambiente ja esta pronto para utilizar as APIs do CLARION para desenvolvimento.

Os namespaces da biblioteca estão organizados da seguinte maneira:

• Clarion - base da biblioteca e contém as classes World, AgentInitilizer e ImplicitComponentInitializer
• Clarion.Framework - contém a maioria das classes necessárias para inicialização e execução das simulações. A grande part das classes desse namespace podem ser correlacionados aos termos e conceitos da teoria do CLARION
• Clarion.Framework.Core - contém os construtores necessários para as operações do núcleo do sistema
• Clarion.Framework.Extensions - contém classes de extensões
• Clarion.Framework.Templates - contém classes abstratas, interfaces e delegates para construção de objetos customizado (por exemplo drives)
• Clarion.Plugins - prove plugins e ferramentos que podem ser utilizados no ambiente simulado para melhorar compatiblidade e aplicação dos agentes

Nesse tópico também foi visto o relacionamento entre objetos descritivos e funcionais:

• Descritivos: descreve itens, como por exemplo o ambiente de simulação, agentes, ações, objetivos, conhecimento e estão sob controle da exclusiva da classe World.
• Funcionais: responsáveis por ações, descrever o processo e mecanismos para o funcionamento de um agente e em geral podem ser referenciados como "Módulos" ou "Componentes"

Exemplo simples do módulo de ACS

O primneiro exemplo visto, SimpleHelloWorld é uma implementação puramente ACS. A idéia é treinar um agente para quando saudado com Oi, responder Oi, quando Tchau, responder Tchau.

Para isso iniciamos o nosso World para conhecer essas informações:

            DimensionValuePair hi = World.NewDimensionValuePair("Salutation", "Hello");
            DimensionValuePair bye = World.NewDimensionValuePair("Salutation", "Goodbye");

O segundo passo é definir as ações que o agente irá executar:

            ExternalActionChunk sayHi = World.NewExternalActionChunk("Hello");
            ExternalActionChunk sayBye = World.NewExternalActionChunk("Goodbye");

Em seguida, iniciamos nosso agente selecionando o funcionamento por Simplified Q Learning backpropagation e definimos os nós de entrada e saída com as informações sensoriais e ações, respectivamente:

            SimplifiedQBPNetwork net = AgentInitializer.InitializeImplicitDecisionNetwork(John, SimplifiedQBPNetwork.Factory);

            net.Input.Add(hi);
            net.Input.Add(bye);
 
            net.Output.Add(sayHi);
            net.Output.Add(sayBye);

Uma vez nosso agente criado, o exemplo consiste em gratificar e penalizar o agente mediante repostas certas e erradas. De tal forma, uma opção aleatória é enviada para o agente e mediante resposta, damos o feedback,

Exercutando vemos que o agente demora algumas rodadas para aprender, porém a partir de um determinado momento, o agente passa a responder precisamente.

Reporting Results for the Simple Hello World Task
John got 9721 correct out of 10000 trials (97%)
At the end of the task, John had learned the following rules:
Condition:
	(Dimension = Salutation, Value = Hello), Setting = False
	(Dimension = Salutation, Value = Goodbye), Setting = True
Action:
	ExternalActionChunk Goodbye:
		DimensionValuePairs:
			(Dimension = SemanticLabel, Value = Goodbye)
Condition:
	(Dimension = Salutation, Value = Hello), Setting = True
	(Dimension = Salutation, Value = Goodbye), Setting = False
Action:
	ExternalActionChunk Hello:
		DimensionValuePairs:
			(Dimension = SemanticLabel, Value = Hello)

Exemplo simples de MS

No segundo tópico, adicionamos Goal em nossa lógica, que faz parte do top level do módulo de MS.

No primeiro momento vimos como podemos ver as informações dos Goals de um agente:

Como ações, Goals são representados como chunks e inicializados usando a classe World.

Podemos setar dois parametros para ajuste do Goal:

• Comportamento Lista/Pilha
• Ativação (atual ou completa)

Exemplificando com código:

Exemplo intermediário de implementação do ACS

A classe RefineableActionRule contém, dentre outros métodos, métodos para especialização e generalização. Os parametros alterados no código acima alteram a forma como esses métodos irão atuar de forma a ser mais eficiente em nosso cenário.

Outro exemplo presente no código abaixo desativa vários métodos de aprendizado presentes no module de ACS.

Alguns pontos a serem notados é que as mudanças em parametros globais devem ser feitas antes da inicialização dos objetos (caso sejam feitos depois não são aplicados aos objetos anteriores). Outro ponto é que esses parametros respeitam as hierarquias das classes do Clarion. Por exemplo, RefineableActionRule, IRLRule, AssociativeRule, etc são derivados da classe Rule. Caso queira que um parametro tenha efeito em todas as classes, basta mudar o parametro apenas na classe Rule, de outra forma, pode ser alterado apenas nas classes que queiramos.

O exemplo acima é referente a mudanças globais de parametros. Nos casos de mudanças locais, podemos fazer somente durante a instancia do objeto que queremos essa alteração.

John.ACS.Parameters.PERFORM_RER_REFINEMENT = false;

Por fim vimos como lidar com elementos de Working Memory. No Clarion, WM pode conter qualquer tipo de Chunk e suas interações são feitas pela classe Agent.

Pudemos ver como pedar as informações, setar/adicionar e remover elementos conforme demostrado abaixo.

Exemplo intermediário de implementação de MS e MCS

Nesse exemplo estudamos principalmente o mecanismo de Drives. No Clarion, os Drives usam fatores das informações dos estados internos e externos para definir a "força" do drive, utilizado para sua ativação. Essas informação são recebidas pelo objeto SensoryInformation. As ativações dos drives irão direcionar nosso sistema meta cognitivo a tomar ações que irão direcionar o processamento.

O Clarion ja possui uma implementação para todos os drives primários. O primeiro passo é a inicialização dos drives.

FoodDrive food = AgentInitializer.InitializeDrive(John, FoodDrive.Factory, .5);

• Drive para aproximar
• Drive para evitar
• Drive para aproximar/evitar
• Drive não específico

Exemplo de NACS

Para esse modulo estudamos um Simple Reasoner. A lógica consiste no seguinte:

• Dada uma sequencia de números, retornar a sequencia completa do padrão X e do padrão X+1

Exemplificando, temos os 5 padrões abaixo:

• Inicializa o ambiente com 30 pares dimensão/Valor os 5 padrões especificados com 9 números

• Adiciona os Chunks declarativos com os 5 padrões no GKS

• Configura uma rede Hopfield, treinando e checando sua precisão

• Inicializa 5 regras associativas no formato: Se padrão X, conclua padrão X+1

• Executa a ação. Nesse ponto adicionamos ruído de 40% (zerando 40% dos valores) na entrada.

Com isso podemos ver a execução e seu resultado com 100% de precisão nas telas abaixo.