Saltar al contenido
Integrafy KnowOS · 01 Ingestão

De qualquer fonte até ao lake. Em minutos.

Conectores ERP, eCommerce, CRM, APIs e ficheiros sobre o mesmo motor. Streaming e batch. Validação ao entrar. Tentativas com backoff. Sem pipelines manuais.

Diagrama de ingestão de dados no Integrafy KnowOS

Que tipos de fonte?

APIs modernas

REST, GraphQL, gRPC. Autenticação OAuth 2.0, JWT, API Key. Rate limiting gerido automaticamente.

Protocolos legacy

SOAP, RFC, EDI (EDIFACT, X12), COM. Para ERPs que não se actualizam há décadas.

Bases de dados

PostgreSQL, MySQL, SQL Server, Oracle, DB2. Change Data Capture quando é possível; polling programado se não.

Ficheiros

CSV, JSON, XML, Parquet. Em FTP, SFTP, S3, Azure Blob ou pastas locais. Processamento incremental.

Webhooks

Endpoint seguro assinado para receber eventos push. PrestaShop, Shopify, HubSpot, Salesforce — todos suportados.

Streaming

Kafka, RabbitMQ, AWS Kinesis. Ingestão em tempo real para alto volume com garantias at-least-once.

Pipeline visual: de evento a Data Lake

1. Evento chega ao conector (webhook, polling, ficheiro)
2. Validação de assinatura e autenticação
3. Transformação declarativa (SQL, Python, JavaScript)
4. Validação de schema e regras de negócio
5. Escrita no Data Lake com timestamp e lineage
6. Notificação ao resto do sistema (event bus)

Perguntas frequentes sobre Ingestão

Que tipos de fonte posso ingerir?

Qualquer fonte com API REST, GraphQL, SOAP, base de dados (PostgreSQL, MySQL, SQL Server, Oracle, DB2), ficheiros (CSV, JSON, Parquet, XML, EDI) em FTP/SFTP/S3, ou webhooks de entrada. Se o seu sistema expõe dados de alguma forma, o Integrafy KnowOS lê-os.

Como se gerem os schemas que mudam?

Os conectores suportam schema-on-read (ingestão crua, esquema aplicado depois) e schema-on-write (esquema validado ao entrar). Quando um campo muda na origem, o lake mantém as versões antigas com lineage explícito, e o Integrafy Data oferece reconciliação assistida.

Streaming ou batch?

Ambos sobre o mesmo motor. Eventos em tempo real via webhooks/Kafka/webservices; batch programado para fontes pesadas (ficheiros diários, cargas completas semanais). A decisão é por conector, não por produto.

O que acontece se uma fonte cair?

O Integrafy KnowOS mantém buffer de eventos e tentativas com backoff exponencial. Quando a fonte volta, o buffer é drenado respeitando a ordem. Os alertas do Observe avisam a equipa se o atraso ultrapassar limites configuráveis.

Posso validar os dados antes de chegarem ao lake?

Sim. Cada pipeline admite regras de validação (tipo, intervalo, regex, referência a outras tabelas) e transformações (limpeza, enriquecimento, deduplicação). Os registos que falham validação vão para uma dead letter queue para revisão.

Que fonte tem pendente para ligar?

Diagnóstico gratuito em 30 minutos.