Data verzameling
met Cortex

 

Efficiënt verzamelen en distribueren van enorme hoeveelheden (data)bestanden van een grote verscheidenheid aan protocollen met revolutionaire snelheden. Begin met het verzenden van data met onze krachtige beheerde datadistributietool.

Cortex Data Dispatcher

De Cortex-stack is een set componenten voor krachtige beheerde dataverzameling en -distributie.

De componenten in de Cortex stack zijn ontworpen met eigenschappen om efficiënt beheer mogelijk te maken. Componenten en protocollen kunnen worden gecombineerd om een breed scala van distributiescenario’s mogelijk te maken. Het bestaat uit een geavanceerde verzendingsmodule en een (S)FTP-scanner. Met de gecombineerde Cortex-modules kan uw systeem data pushen en pullen (pub/sub, ook bekend als publiceren en abonneren). De complete stapel maakt het tot het perfecte datacollectiesysteem voor al uw datacollectiebehoeften.

High-Performance

Cortex is geschreven in de krachtige systeemprogrammeertaal Rust, wat betekent dat het razendsnel en geheugenefficiënt is. Door volledig gebruik te maken van het parallellisme op moderne CPU’s, is de Cortex Stack bijna altijd gebonden aan de prestaties van de netwerkinterfaces en niet aan die van het systeem.

Cortex integreertgemakkelijk in uw bestaande architectuur en ondersteunt praktisch elk bronformaat. Enkele voorbeelden zijn;

  • Cloudopslagproviders (Google Cloud, OneDrive, AWS S3, Dropbox, en nog veel meer)
  • CORBA
  • (s)FTP, HTTP(S)
  • rsync
  • E-mail
Data Collection Proces

Cortex eigenschappen

Configuratie per data stream

De data retentie en data distributie zijn configureerbaar per datastroom. Het is ook mogelijk om zowel geplande als continue data opvraging en publicatie in te stellen.

Metriek voor netwerken

Cortex ondersteunt out-of-the-box het publiceren van metrieken naar tools zoals Prometheus en bevat standaard dashboards voor monitoring en alerting doeleinden.

Operationele logboekregistratie

Gedetailleerde logging wordt ondersteund voor alle datastromen, zodat anomalieën gemakkelijk kunnen worden onderzocht. Logs kunnen in verbinding gebracht worden met standaard logging toepassingen zoals Syslog. journald en andere log servers.

Audit Logging Ondersteuning

Audit logging is standaard ingeschakeld voor alle inkomende en uitgaande data Dit garandeert dat de data en de toegang ertoe traceerbaar blijven.

Data Quality

Data Quality wordt gegarandeerd door het gebruik van hashes. Dit maakt de-duplicatie van data mogelijk, waardoor data nooit wordt gewijzigd of verloren raakt. Zelfs in latere fases van het proces, bijvoorbeeld aan de subscriber kant van de data, kan de hash worden gebruikt om te integriteit te verifiëren.

ONDERSTEUNDE DATATRANSPONDERPROTOCOLLEN EN -VERSTREKKERS

Cortex kan alle data bronnen distribueren. Wij ondersteunen een breed scala van protocollen voor het verzamelen en verspreiden van data die vrij gecombineerd kunnen worden;

  • Pull collectie: HTTP, HTTPS, FTP, SFTP, SMB, NFS
  • Push collectie: FTP, SFTP, SMB, NFS
  • Pull distributie: HTTP, HTTPS, FTP, SFTP, SMB, NFS
  • Push distributie: FTP, SFTP, SMB, NFS

 

Ongeacht de grote hoeveelheden data die moeten worden gedistribueerd, heeft Cortex al bewezen dat het enorme hoeveelheden data kan versturen over meerdere gebiedsoverschrijdende netwerken met een verscheidenheid aan configuraties per datastroom.

Enkele ondersteunde bestandsformaat voorbeelden
.xml
.csv
.xlsx
.xls
.dat
.txt
.bin
.png
.jpg
.mp4

Nog niet overtuigd?

Stuur ons data om te verwerken en laat u verbazen!