De qualquer fonte até ao lake. Em minutos.
Conectores ERP, eCommerce, CRM, APIs e ficheiros sobre o mesmo motor. Streaming e batch. Validação ao entrar. Tentativas com backoff. Sem pipelines manuais.
Que tipos de fonte?
APIs modernas
REST, GraphQL, gRPC. Autenticação OAuth 2.0, JWT, API Key. Rate limiting gerido automaticamente.
Protocolos legacy
SOAP, RFC, EDI (EDIFACT, X12), COM. Para ERPs que não se actualizam há décadas.
Bases de dados
PostgreSQL, MySQL, SQL Server, Oracle, DB2. Change Data Capture quando é possível; polling programado se não.
Ficheiros
CSV, JSON, XML, Parquet. Em FTP, SFTP, S3, Azure Blob ou pastas locais. Processamento incremental.
Webhooks
Endpoint seguro assinado para receber eventos push. PrestaShop, Shopify, HubSpot, Salesforce — todos suportados.
Streaming
Kafka, RabbitMQ, AWS Kinesis. Ingestão em tempo real para alto volume com garantias at-least-once.
Pipeline visual: de evento a Data Lake
Perguntas frequentes sobre Ingestão
Que tipos de fonte posso ingerir?
Qualquer fonte com API REST, GraphQL, SOAP, base de dados (PostgreSQL, MySQL, SQL Server, Oracle, DB2), ficheiros (CSV, JSON, Parquet, XML, EDI) em FTP/SFTP/S3, ou webhooks de entrada. Se o seu sistema expõe dados de alguma forma, o Integrafy-OS lê-os.
Como se gerem os schemas que mudam?
Os conectores suportam schema-on-read (ingestão crua, esquema aplicado depois) e schema-on-write (esquema validado ao entrar). Quando um campo muda na origem, o lake mantém as versões antigas com lineage explícito, e o Data Hub oferece reconciliação assistida.
Streaming ou batch?
Ambos sobre o mesmo motor. Eventos em tempo real via webhooks/Kafka/webservices; batch programado para fontes pesadas (ficheiros diários, cargas completas semanais). A decisão é por conector, não por produto.
O que acontece se uma fonte cair?
O Integrafy-OS mantém buffer de eventos e tentativas com backoff exponencial. Quando a fonte volta, o buffer é drenado respeitando a ordem. Os alertas do Insight avisam a equipa se o atraso ultrapassar limites configuráveis.
Posso validar os dados antes de chegarem ao lake?
Sim. Cada pipeline admite regras de validação (tipo, intervalo, regex, referência a outras tabelas) e transformações (limpeza, enriquecimento, deduplicação). Os registos que falham validação vão para uma dead letter queue para revisão.
Que fonte tem pendente para ligar?
Diagnóstico gratuito em 30 minutos.