O painel de geral de performance dos participantes tem como objetivo mapear e qualificar como os participantes do OFB estão se comportando em ambiente produtivo em aspectos relevantes como assertividade técnica e funcional, qualidade dados, experiência do usuário, resiliência e capacidade de integração com os consumidores de suas APIs.

O painel é de fácil visualização, individualizada e nominal em relação às instituições participantes, permitindo a verificação de performance de cada instituição e a identificação oportunidades de melhorias nos aspectos supracitados.

O painel de geral de performance (nível 1) é composto pelos indicadores geral de performance individualizados para cada instituição transmissora e detentoras de dados que representem 99% do estoque total de consentimentos ativos (I.N. 441)

A leitura do painel geral de performance será feita a cada ciclo (mensal) de governança medindo-se, através do indicador geral de performance, a evolução das instituições ou conglomerados de um ciclo para outro.

Os indicadores que compõe o painel de geral de performance terão carácter informacional com o viés de acompanhar a evolução das instituições no OFB e não será considerado para monitorar SLAs regulatórios.

O painel de geral de performance da instituição por sua vez, viabiliza uma análise aprofundada de performance da instituição através de 3 níveis de indicadores que compõe do indicador geral de performance, permitindo análise de aspectos relevantes de performance da instituição.

Índice quantitativo que mensalmente agrega múltiplos indicadores ou índices monitorados para fornecer uma visão geral de performance dos participantes. ÍNdices agregados: Índice Geral Técnico, Índice Geral Funcional e Índice Geral de Governança.

Open

Considera-se que os indicadores que compõem o cálculo do índice geral de performance possuem o mesmo grau de relevância e, portanto, utilizamos uma média simples para o seu cálculo.

Cálculo do Índice Geral de Performance:

Índice Geral de Performance =(33,3% * Índice Geral de Técnico) + (33,3% * Índice Geral Funcional) + (33,3% * Índice Geral Governança)

Open

O Índice Geral Técnico é um Índice quantitativo que consolida, mensalmente, índices monitorados sobre a disponibilidade e desempenho (tempo de resposta) dos endpoints do OFB dos participantes.

Para compor o índice geral técnico, foram agregados índices de disponibilidade e desempenho (tempo de resposta) com a mesma relevância; ou seja, média simples.

Cálculo do Índice Geral Técnico:

Índice Geral de Técnico = (50% * Índice Geral de Disponibilidade)+ (50% * Índice Geral de Tempo de Resposta)

Open

Cálculo do Índice Geral de Disponibilidade e Índice Geral de Desempenho:

O Índice Geral de Disponibilidade é uma agregação quantitativa dos indicadores Disponibilidade Longa das APIs e Atendimento ao SLA de disponibilidade diária (indicadores descritos conforme IN441). Neste caso, consideramos o indicador de Disponibilidade Longa das APIs com uma relevância ligeiramente maior, pois trat-se de uma monitoramento contínuo de disponibilidade ao passo que o Atendimento ao SLA é uma consolidação discreta diária.

Índice Geral de Técnico = (60% * Disponibilidade Longa das APIs)+ (40% * Atendimento ao SLA de disponibilidade diária)

O Índice Geral de Tempo de Resposta é composto integralmente pelo indicador Atendimento ao SLA de Tempo de Resposta (indicadores descritos conforme IN441)

Open

Os indicadores Disponibilidade Longa das APIs e Atendimento ao SLA de disponibilidade diária e Atendimento ao SLA de tempo de resposta são provenientes da mesma base de dados dos indicadores de gestão de conformidade (Item 2.1 da IN441). No entanto, consideramos valores qualitativos e normalizados em uma escala de 0 a 100, agregando em média simples os valores de endpoints ativos e agrupadas por participantes; ou seja, para os 3 indicadores supracitados os endpoints ativos tem igual relevância.

O Índice Geral Funcional é um Índice quantitativo que consolida, mensalmente, índices monitorados sobre a experiência do usuário e taxa de conversão monitorados nos produtos dos participantes do OFB.

Para compor o Índice Geral Funcional, foram agregados índices de experiencia de usuário e taxa de conversão com a mesma relevância; ou seja, média simples.

Cálculo do Índice Geral Funcional:

Índice Geral Funcional= (50% * índice de Experiência do Usuário) + (50% * Índice Geral de Conversão)

Open

Cálculo do Índice Experiência do Usuário e Índice Geral de Conversão:

O Índice de Experiência do Usuário utiliza os dados resultantes e consolidados do serviço de monitoramento da jornada de usuário, por instituição ou conglomerado. O serviço de monitoramento da jornada do usuário realiza testes de conformidade das aplicações dos participantes para com os requisitos do Guia de Experiência do Usuário em ciclos bimestrais.

O Índice de Experiência do Usuário é calculado pelo número total de requisitos testados em conformidade com o Guia de Experiência do Usuário sobre os total de requisitos testados normalizados em uma escala de 0 a 100.

O Índice Geral de Conversão agrega em média simples os dados de taxas de conversão de compartilhamentos de dados como transmissor e receptor e iniciação de pagamentos como iniciador e detentor das instituições participantes do OFB.

Os Índice de Experiência do Usuário e Índice Geral de Conversão são provenientes da mesma base de dados dos indicadores de gestão de conformidade (Item 2.1 da IN441).

O Índice Geral de Governança é um índice quantitativo que consolida, mensalmente, indicadores monitorados sobre a qualidade do atendimento dos participantes do OFB.

Para compor o Índice Geral Funcional, utilizamos a totalidade do Índice Geral de Atendimento que, por sua vez, é calculado por média simples dos indicadores SLA dos Tickets bilaterais com prazos vencidos e SLA dos Tickets abertos pela Estrutura Inicial com prazos vencidos normalizados em uma escala de 0 a 100

Open

Cálculo do Índice Geral Funcional e Índice Geral de Atendimento:

Índice Geral de Funcional = Índice Geral de Atendimento = (50% * SLA dos Tickets bilaterais com prazos vencidos )+ (50% * SLA dos Tickets abertos pela Estrutura Inicial com prazos vencidos)

O indicador geral de assertiva técnica indica de forma consolidada em uma escala normalizada de 0 a 100 a assertividade da instituição nos testes de conformidades nos servidores de autorização cadastrados, ou seja, em produção. A instituição deve avaliar o grau de evolução com relação as testes de conformidade nos ciclos de governança.

O indicador geral de assertiva técnica (IGAT) consolida através de um cálculo de média simples o indicador de assertividade técnica DCR/DCM (IATDD) com dados oriundos da ferramenta de validação de produção DCR/DCM (FVP 1) e o indicador de assertividade técnica FAPI (IATF) com os dados oriundos da ferramenta de validação de produção FAPI (FVP 2)

Open

Considera-se que os indicadores que compõem o cálculo do indicador geral de assertiva técnica possuem o mesmo grau de relevância e, portanto, utilizamos uma média simples para o seu cálculo. No entanto, a quantidade de pontos de validação entre o indicador de assertividade técnica DCR/DCM e o indicador de assertividade técnica FAPI podem ser diferentes. Por isso, ambos os indicadores são normalizados na escala de 0 a 100.

Os processos de registro dinâmico de software cliente e o gerenciamento destes registros (DCR/DCM) são críticos para o ecossistema OFB, dado que cada receptor e iniciador de pagamento precisa realiza-los para habilitar suas APIs. Além disso, precisam realizar a alteração destes registros para o consumo de novas APIs, atualizar certificados digitais ou, ainda, realizar alguma outra atualização técnica. Desta forma, apesar destas APIs de DCR/DCM serem chamadas poucas vezes ao ano, a sua indisponibilidade ou falha funcional pode ter alto impacto para o ecossistema.

A Ferramenta de Validação de Produção 1.0 (FVP 1.0) é um motor de testes que semanalmente avalia o funcionamento dos processos DCR/DCM das instituições transmissoras de dados e detentoras de conta, gerando um relatório de falhas e notificando os participantes através de um ticket no service desk.

Por ser executado em ambiente produtivo, o relatório do teste é enviado para o participante, porém excluído das bases de dados do ecossistema, sendo mantido apenas metadados destas execuções, como por exemplo o resultado do teste, quantidade de falhas, ponto de falha e quantidade de execuções consecutivas que o participante falhou no teste.

O Indicador de assertividade técnica DCR/DCM (IATDD) utiliza estes mesmos metadados para gerar um índice de sucesso nos items testados pela FVP 1.0 para os processos DCR/DCM agregados por instituição e considera todas execuções do mês corrente. O Indicador de assertividade técnica DCR/DCM (IATDD) é calculado pelo número total de itens testados com sucesso sobre o total de items de testes executados por instituição.

Open

O Indicador de assertividade técnica DCR/DCM indica de forma consolidada em uma escala normalizada de 0 a 100.

A segurança e a privacidade dos dados são dois aspectos de extrema relevância para o Open Finance Brasil (OFB). Proteger os dados dos clientes, juntamente com o direito de escolha e gerenciamento sobre quais dados desejam compartilhar, são características fundamentais que deram origem ao próprio programa do Open Finance. Portanto, a escolha do FAPI como mecanismo de autorização do consentimento assegura a utilização de tecnologias modernas, amplamente adotadas em diversas regiões, com comprovada segurança e estabilidade.

A Ferramenta de Validação de Produção 2.0 (FVP 2.0) é um motor de testes que tem por objetivo validar a funcionalidade do perfil de segurança FAPI. Ele verifica os principais aspectos técnicos e a capacidade das instituições em aprovar consentimentos, gerar tokens de acesso e proteger APIs de produtos. Vale ressaltar que este motor avalia exclusivamente aspectos técnicos, enquanto questões de usabilidade e experiência do usuário são analisadas por outro serviço. Devido à necessidade de uso de clientes e contas reais para os testes, este motor requer execução manual, resultando em uma frequência de execução mais baixa.

O Indicador de assertividade técnica FAPI mensura a capacidade dos participantes de conduzir com sucesso o processo de autorização de consentimentos pelo FAPI. Falhas nesse aspecto podem impedir o compartilhamento de dados ou representar riscos à segurança e privacidade das informações.

O indicador de assertividade técnica FAPI (IATF) utiliza os metadados para gerar um índice de sucesso nos items testados pela FVP 2.0 para os processos FAPI por instituição e considera execuções do últimos 2 meses correntes. O Indicador de assertividade técnica FAPI (IATF) é calculado pelo número total de itens testados com sucesso sobre o total de items de testes executados por instituição.

Open

O indicador de assertividade técnica FAPI indica de forma consolidada em uma escala normalizada de 0 a 100.

A resiliência do software impacta diretamente na reputação da marca ou instituição. Produtos de software que são conhecidos por sua resiliência tendem a ter uma reputação melhor entre os usuários e uma melhor interoperabilidade entre os participantes atraindo mais consentimentos, compartilhamento de dados e pagamentos. A resiliência, portanto, é de fato um aspecto fundamental para compor o indicador geral de performance das instituições.

O indicador geral de resiliência (IGR) (nível 2) é composto por média simples dos indicador geral de disponibilidade (IGDI) (nível 3) e o indicador geral de desempenho (IGDE) (nível 3) agrupados por instituição ou conglomerado.

Open

Considera-se que os indicadores que compõem o cálculo do indicador geral de resiliência; o indicador geral de disponibilidade e o indicador geral de desempenho, possuem o mesmo grau de relevância e, portanto, utilizamos uma média simples para o seu cálculo normalizadas de uma escala de 0 a 100 para posterior consolidação no Indicador Geral de Performance das Instituições

O indicador geral de disponibilidade (nível 2) e o indicador geral de desempenho (nível 2) são capturados através de testes sintéticos, ou seja, simulam requisições nos endpoints das APIs do OFB, executando transações predefinidas em intervalos regulares e calculando o valor médio de tempo de resposta (desempenho) e disponibilidade no período de 24 horas. O objetivo destes indicadores é aferir com um certo grau de confiança (testes sintéticos) como as instituições estão evoluindo com relação a resiliência dos endpoints das APIs das instituições participantes.

O indicador geral de disponibilidade (nível 3) será calculado a partir das retornos das requisições simuladas obtidas no monitoramento sintético que ocorrem em um intervalo predefinido (atualmente a cada 5 minutos) e os resultados consolidadas na janela de tempo de 24 horas. Neste período, se a relação entre requisições retornadas sem erro de indisponibilidade e total de requisições simuladas ficar abaixo de 95%, isso indicará que ela será considerada, como objetivo de disponibilidade não atingido, e caso contrário como objetivo de disponibilidade atingido. O indicador geral de disponibilidade é calculado a partir da relação entre a quantidade de dias no mês corrente com objetivo de disponibilidade atingido sobre 30.

Open

sendo

Open

e

Open

Por exemplo; com amostras de requisições a cada 5 minutos, espera-se que em 24 horas tenhamos 288 requisições simuladas para um determinado endpoint e dos quais 243 retornadas com erro de indisponibilidade. A relação entre requisições retornadas com erro de indisponibilidade e total de requisições simuladas resultou em 84%; portanto abaixo de 95%. Para este período de 24 horas o objetivo de disponibilidade não foi atingido. Considere que nos 30 dias correntes, obteve-se 28 dias com objetivo de disponibilidade atingido; neste caso, o indicador geral de disponibilidade calculado será de 93%.

Para ser ter uma análise ainda mais profunda da evolução dos participantes com relação a resiliência, detalha-se o indicador geral de disponibilidade também por tipo de endpoint:

• indicador de disponibilidade de dados cadastrais

• indicador de disponibilidade de dados abertos

• indicador de disponibilidade de serviços

O indicador geral de desempenho (nível 3) será calculado a partir das retornos das requisições simuladas obtidas no monitoramento sintético que ocorrem em um intervalo predefinido (atualmente a cada 5 minutos) e os resultados consolidadas na janela de tempo de 24 horas. Neste período, se tempo médio de retorno das requisições estiver acima de 1500ms, isso indicará que ela será considerada, como objetivo de desempenho não atingido, e caso contrário como objetivo de desempenho atingido. O indicador geral de desempenho é calculado a partir da relação entre a quantidade de dias no mês corrente com objetivo de desempenho atingido sobre 30.

Open

sendo

Open

Por exemplo; em 30 dias corridos 27 dias tiveram tempo de retorno médio abaixo de 1500ms; portanto o indicador geral de desempenho será de 90%

Para ser ter uma análise ainda mais profunda da evolução dos participantes com relação a resiliência, detalha-se o indicador geral de desempenho, também por tipo de endpoint:

• indicador de desempenho de dados cadastrais

• indicador de desempenho de dados abertos

• indicador de desempenho de serviços

As melhores práticas de UX implementados no guia de experiência do usuário do OFB são projetadas para melhorar a experiência do usuário, tornando-a mais intuitiva, eficiente e agradável. Ao garantir a conformidade do produto de software com o guia, garantimos que os usuários tenham uma experiência positiva e satisfatória ao usar os produtos do OFB, e portanto constitui aspecto relevante de análise de performance das instituições.

O serviço de monitoramento da jornada do usuário tem como objetivo avaliar como os participantes do Open Finance Brasil estão entregando a experiência de compartilhamento de dados e dos serviços de pagamento conforme o guia de experiencia do usuário. As não conformidades são identificadas e os participantes são notificados para que executem os ajustes necessários de acordo com as normas e SLAs definidos pelo BACEN.

O indicador geral de experiencia do usuário (IGUX) utiliza os dados resultantes e consolidados do serviço de monitoramento da jornada de usuário, por instituição ou conglomerado (nível 1) e detalhados por fase (fase2 e fase 3), escopo (transmissor, receptor, iniciador, detentor) e alçada PF e PJ (nível 2).

O indicador geral de experiencia do usuário (IGUX) é calculado com média simples dos indicadores detalhados (nível 2) de UX:

Open

• indicador UX fase transmissor PF (IUTPF)

• indicador UX fase receptor PF (IURPF)

• indicador UX fase receptor PJ (IUTPJ)

• indicador UX fase iniciador PF (IUIPF)

• indicador UX fase detentor PF (IUDPF)

• indicador UX fase detentor PJ (IUDPJ)

Os indicadores detalhados (nível 2) são calculados pelo número total de requisitos testados em conformidade com o guia de experiência do usuário sobre os total de requisitos testados.

Considera-se que os indicadores detalhados (nível 2) que compõem o cálculo do indicador geral de experiencia do usuário possuem o mesmo grau de relevância na performance da instituição, independente da quantidade de requisitos (pontos de validação) testados e, portanto, utilizamos uma média simples para o seu cálculo.

Considera-se, também, que poderá haver instituições que não foram testados em algum escopo ou alçada em um ciclo específico ou que algum outro escopo ou alçada tenha sido adicionada nos ciclos de testes de monitoramento UX. Nestes casos, a média simples é o cálculo mais indicado para manter consistência nos indicadores consolidados e para análise de evolução de performance das instituições ou conglomerados.

O Indicador conformidade UX transmissor PF é calculado pelo quantidade de requisitos (Guia de experiência do usuário) testados com sucesso para a instituição como transmissora na alçada PF sobre o total de requisitos do guia de experiência no escopo transmissor na alçada PF.

Open

O Indicador conformidade UX receptor PF é calculado pelo quantidade de requisitos (Guia de experiência do usuário) testados com sucesso para a instituição como receptora na alçada PF sobre o total de requisitos do guia de experiencia no escopo receptor na alçada PF.

Open

O Indicador conformidade UX transmissor PJ é calculado pelo quantidade de requisitos (Guia de experiência do usuário) testados com sucesso para a instituição como transmissora na alçada PJ sobre o total de requisitos do guia de experiência no escopo transmissor na alçada PJ.

Open

O Indicador conformidade UX iniciador PF é calculado pelo quantidade de requisitos (Guia de experiência do usuário) testados com sucesso para a instituição como iniciadora na alçada PF sobre o total de requisitos do guia de experiência no escopo iniciador na alçada PF.

Open

O Indicador conformidade UX detentor PF é calculado pelo quantidade de requisitos (Guia de experiência do usuário) testados com sucesso para a instituição como detentora na alçada PF sobre o total de requisitos do guia de experiência no escopo detentor na alçada PF.

Open

O Indicador conformidade UX detentor PJ é calculado pelo quantidade de requisitos (Guia de experiência do usuário) testados com sucesso para a instituição como detentora na alçada PJ sobre o total de requisitos do guia de experiência no escopo detentor na alçada PJ.

Open

O indicador de sucesso das chamadas de API é um indicador chave do desempenho geral do ecossistema. Uma alta taxa de sucesso indica que as APIs estão funcionando corretamente e respondendo às solicitações dos clientes de forma eficaz. Por outro lado, uma baixa taxa de sucesso pode indicar problemas de desempenho e interoperabilidade entre os participantes.

Medir a taxa de sucesso das chamadas de API é essencial para monitorar o desempenho do sistema, identificar problemas potenciais, garantir uma experiência do usuário positiva e planejar adequadamente a capacidade do sistema para atender às demandas dos usuários.

O indicador geral de sucesso das chamadas de API (IGSC) é oriundo dos dados auto reportadas pelos participantes e basicamente calculado pela taxa de requisição de chamadas retornadas com sucesso sobre a taxa de requisição no período de 24 hrs.

Open

A API administrativa de métricas foi o primeiro instrumento para coletas de indicadores para avaliar a saúde do ecossistema. Através desta API os participantes devem, para cada endpoint, informar o tempo e a taxa de disponibilidade e de indisponibilidade, bem como os volumes de chamadas, tempo médio de resposta, TPS médio, TPS de pico, quantidade de erros e quantidade de rejeições.

Os indicadores da API de métricas são consumidas exclusivamente pelo Dashboard do cidadão para dar uma visão geral da saúde do ecossistema e não são acessíveis diretamente aos demais participantes.