ESTE É UM CONTEÚDO EM DESENVOLVIMENTO E NÃO DEVE SER CONSIDERADO COMO VERSÃO FINAL!
Clique aqui para maiores informações
Monitoramento e Métricas
- Jose Mauricio Barbosa Pereira Filho
- Paulo Marne Barros Bastos Junior
Lista inicial de métricas
Categoria | Métrica | Medida utilizada | Responsável por coleta | Detalhes da métrica |
Consumo
| Total de notificações recebidas | Número total por segundo do dia | Receptor | Número total de notificações que foram recebidas pelo receptor |
Total de notificações enviadas | Número total por segundo do dia | Transmissor | Número total de notificações que foram enviadas pelo transmissor para cada receptor | |
Tempo para criação de ambiente | Horas | Transmissor e Receptor | Tempo total necessário para criar o ambiente (com base em lista definida) | |
Total de conversão de uso da notificação | Porcentagem | Receptor | Porcentagem de notificações consumidas em relação às recebidas (via additionalInfo PCM) | |
Uso de CPU e Memória | Porcentagem | Transmissor | Monitoramento dos recursos em produtores, consumidores e brokers Kafka para medir a carga sobre a infraestrutura (ponderador do custo) | |
Largura de banda de rede |
| Transmissor | Verificar o tráfego de rede gerado pela integração Kafka para avaliar o impacto em situações de pico (ponderador do custo) | |
Ganho
| Redução de latência |
| Receptor | Comparação da latência (tempo que ocorreu o evento e recebimento do dado pelo cliente) de notificação com e sem Kafka. Objetivo de mensurar o quanto Kafka melhora a entrega em tempo real (tempo completo) |
Tempo de entrega da notificação | Segundos | Transmissor | Tempo necessário para ocorrência do evento e entrega na notificação (tempo parcial) | |
Perda
| Erros de processamento | Número total | Receptor | Taxa de erros de processamento por número de mensagens consumidas, com categorização de erros (ex.: erros de rede, falhas de conexão com o Kafka, etc.) |
Lag no tópico | Número por segundo | Transmissor | Mensagens postadas que ainda não foram consumidas | |
Disponibilidade | Porcentagem | Transmissor | Porcentagem do tempo que o serviço fica disponível e não sofreu queda por partição (postmostem) | |
Custo | Custos de Infraestrutura | Monetário | Transmissor e Receptor | TCO de produtores, consumidores e do próprio Kafka em cloud (se aplicável) ou em ambiente local |
Instalação
A instalação do Kafka com o Zookeeper consiste apenas em baixar e descompactar o arquivo correspondente. O Zookeeper é a ferramenta responsável por gerenciar o estado dos clusters e, portanto, constitui uma dependência essencial para o correto funcionamento do Kafka.
Passos de instalação:
Fazer download do Kafka.
Descompacte o arquivo dentro do diretório de preferência.
O arquivo /config/zookeeper.properties mantém a configuração do Zookeeper e indica qual porta a instância do Zookeeper irá escutar, diretório de dados, etc.
A porta de escuta padrão é 2181. Você pode mudar esta porta na propriedade clientPort.
O diretório de dados padrão é /tmp/zookeeper. Altere dataDir caso não deseja que os dados do Zookeeper sejam excluídos após algum período aleatório.
Para rodar o Zookeeper, execute: sh bin/zookeeper-server-start.sh config/zookeeper.properties
O arquivo /config/server.properties mantém configurações gerais do Broker como: estabelecer o id do Broker; número de threads para receber, processar e enviar um request; o tamanho do buffer para enviar e receber mensagens; qual o diretório de logs do broker, etc.
Para o rodar o Kafka paralelo ao Zookeeper, abra outro terminal e execute: sh bin/kafka-server-start.sh config/server.properties
Concluída a instalação básica.
Aqui já se consegue criar um tópico, publicar e consumir mensagens.
Coleta das métricas
Dados Qualitativos - Formulário
Instituição fornecedora dos dados
Papeis que a instituição exerceu durante a POC
Tempo para construção do ambiente kafka (desde a configuração até a primeira mensagem de teste).
Avaliação para classificação das: restrições internas a POC, Configuração do ambiente Kafka, Gestão de tópicos e recursos e Primeira troca de informações entre participantes.
Tipos de ambiente para implementação (Cloud, On-Premise, Híbrido, Outros).
Provedor Cloud.
Tipo de solução. (Kafka as a service, Virtual Machine, Container, Máquina on-premisse).
Dados Quantitativos - Formulário
Número de CPUs em núcleos de frequência.
Memoria Ram em GB.
Tipo de armazenamento (SSD ou HDD).
Valor mensal aproximado da estrutura de mensageria.
Relatar se houve alguma redução de chamadas em percentual, rotas.
Dados Técnicos
Identificação
Data
Receptor
Nº de msg emitidas
Nº de msg consumidas
Tempo médio entre emissão e consumo em ms (95%)
Percentual de uso médio de CPU
Percentual de uso de memória
Tráfego de rede total em GB.
Percentual de msg com erro.
Disponibilidade do Tópico.
Incidência de desconexão do tópico.
Tópico vazio ou sem hiato.
Redução de consumo polling percentual, em relação a meses anteriores.
Related content
ESTE É UM CONTEÚDO EM DESENVOLVIMENTO E NÃO DEVE SER CONSIDERADO COMO VERSÃO FINAL!
Clique aqui para maiores informações