Datagedreven telen is precies zoals het klinkt: het benutten en analyseren van data voor een optimaal teeltproces. Na meer dan 5 jaar van dataverzameling hebben we het een en ander geleerd over dataopslag. Hoe bewaar je effectief miljoenen datapunten waarbij het nog steeds mogelijk is om snel te zoeken en data real-time te visualiseren? Met Kerst om de hoek delen we graag wat we hebben geleerd als presentje voor jou. Samenwerken aan data management? Plan een meeting met Jasper. 

Gebruik de juiste technologie

Wanneer je data-oplossingen aanbiedt zit er een dunne scheidslijn tussen het besparen op data-opslag en razendsnel beschikbare gegevens voor klanten. Een van de hoofdelementen is het gebruik van geavanceerde technologie om data op te slaan en snel doorzoekbaar te maken. In de dashboards is het mogelijk om in milliseconden miljoenen datapunten te doorzoeken en te visualiseren. Met Elasticsearch kunnen we deze functionaliteit schaalbaar leveren aan onze gebruikers. 

Verplaats data naar de juiste tier 

In het optimaliseren van opslagkosten zijn er enkele voor de hand liggende wins. Denk aan het regelmatig monitoren actieve machine instances en een terugkerend (geautomatiseerd) proces voor het opschonen van de database. Daarnaast zijn er meer genuanceerde strategieën om te besparen op opslagkosten. Een daarvan is het gebruik van data tiers. Er zijn vier verschillende elastic data tiers: Hot, Warm, Cold en Frozen. Hoe “kouder”, hoe goedkoper de opslagkosten, maar ook hoe trager de zoeksnelheid.

Dit komt terug op de dunne scheidslijn tussen het besparen van datakosten en snel doorzoekbare data. We monitoren deze afweging continu om de juiste balans te vinden tussen kosten en zoeksnelheid. Uiteindelijk moeten onze klanten snelle data visualisaties ervaren, zonder opvallende impact op snelheid. Samenwerken op het gebied van data? Plan die meeting met Jasper, of mail via  j.vanderauweraert@30mhz.com.