info@siemify.se

Google för logg-filer

När man märker att en maskin eller en programvara inte beter sig som den ska så analyserar man vanligtvis de logg-filer som genereras. Genom att läsa logg-filer kan man även följa eventuella förändringar som skett som skulle kunna vara anledningen till  incidenten.

Detta är ofta en manuell, icke-standardiserad och tidskrävande process där varje minut kan vara kritisk.

Tar man sedan detta ett steg till och vill ha en komplett vy av sitt datacenter - gärna i real-tid så kan det känns som en övermäktig uppgift.

Det är där Splunk kommer in, Splunk började som en slags “google för loggar” där man lagrar alla loggar och gör dom sökbara. Lägg sedan till att detta kan ske i real-tid så har man kommit en bra bit på vägen att modernisera och automatisera sitt datacenter.

Idag gör Splunk mycket mer än detta, men logg-hantering är fortfarande en nyckelkomponent i produkten.

Search Processing Language (SPL)

Splunks sökbehandlingsspråk (SPL) hjälper dig att via sökord och filter snabbt söka igenom stora mängder maskindata för att hitta den lilla nålen i höstacken och vad som orsakar eventuella incidenter i din miljö. Det som tidigare kunde ta dagar eller månader kan via SPL nu uppnås inom några timmar.  SPL är ett mycket kraftfullt verktyg med en otrolig förmåga till inlärning. Detta skapar en möjlighet att ställa i stort sett vilken fråga som helst till vilken datatyp som helst.

Applikationer och Add-ons

Splunk-plattformen importerar och indexerar praktiskt taget alla typer av maskindata och ger kraftfulla sök- och analysfunktioner som snabbt kan leverera värde för ditt företag. 

Splunk erbjuder även hundratals applikationer och tillägg som kan förbättra och utöka Splunk-plattformen med färdiga funktioner, allt från optimerad datainsamling till övervakning av säkerhet, IT-hantering m.m.

Arkitektur

När man först hör om Splunk tänker man osökt på "databas". Det är en vanlig missuppfattning. Till skillnad från en databas som kräver att du definierar tabeller och fält innan du kan lagra data, accepterar Splunk nästan vad som helst omedelbart efter installationen. Med andra ord har Splunk inte ett fast schema. Istället utför Splunk en indexering vid själva söktillfället. Många loggformat identifieras automatiskt, allt annat kan anges i konfigurationsfiler eller i sökuttrycket.

Detta tillvägagångssätt ger stor flexibilitet. Precis som Google genomsöker en webbsida utan att veta något om en enskild webbplats layout, indexerar Splunk all form av maskindata som kan representeras som text.

Splunk lagrar data direkt i filsystemet. Det här är bra av flera anledningar:

  • Enkel installation, gäller även om man väljer att använda sig av cloud lösningar eller on-premise installationer.
  • Linjär skalbarhet. Om en enda Splunk-server inte räcker till, så lägger man till  ytterligare servrar. Inkommande data fördelas automatiskt jämnt och sökningar riktas till alla Splunk-instanser så att hastigheten ökar med antalet maskiner som håller data. Man kan även bygga redundanta miljöer så att varje händelse lagras på två eller flera Splunk-servrar och genom detta motverka single points of failure.
  • Oändlig retention utan att förlora granularitet. Vissa övervakningsprodukter tillåter dig bara att behålla ett visst antal månader, veckor eller till och med dagar värda data. Andra minskar granulariteten hos äldre händelser, komprimerar många datapunkter till en på grund av kapacitetsgränser. Detta gäller inte Splunk. Splunk kan indexera petabytes data per dag genom sin skalbarhet.

Licensiering

All Splunk programvara prissätts av hur mycket data du skickar till din Splunk-installation per dag.  

Med denna prissättningsmodell betalar du en gång för att indexera data och kan sedan göra obegränsade sökningar mot den data, man är inte inte begränsad av hur mycket data du lagrar. 

Du har också fullständig flexibilitet vid installation av infrastruktur, utan begränsning av antalet noder, kärnor eller uttag.