Çdo skedar kompjuteri përbëhet nga bajte. Një bajt mund të marrë vlera nga 0 në 255. Entropia e informacionit është një parametër statistikor që tregon mundësinë e ndodhjes së bajteve të caktuara në një skedar.
Ju mund të vlerësoni vizualisht shkallën e entropisë duke përdorur një histogram - shpërndarjen e probabilitetit të përsëritjes së të njëjtave bajte në një skedar. Nga entropia e skedarit, mund të hamendësojmë se çfarë lloji të skedarit është para nesh, duke parë vetëm histogramin e tij.
Për demonstrim, le të marrim tre skedarë të llojeve të ndryshme dhe të krahasojmë histogramet e tyre. Le të jetë e para një skedar teksti (*. TXT). Histograma e saj tregohet në figurë:
Skedari i tekstit përmban vetëm tekst. Secili karakter i tekstit është i koduar me bajte të caktuara në përputhje me tabelën e kodimit. Megjithëse ekziston një numër i madh i llojeve të kodifikimit, është e qartë se ekziston një numër i kufizuar i karaktereve alfanumerike, i cili zakonisht është më pak se 255. Prandaj, vetëm disa zona janë zënë në histogramin e parë, dhe disa bajt nuk janë aspak.
Skedari i mëposhtëm do të jetë në formatin PDF:
Ky skedar përmban të gjitha bajtat e mundshëm, pasi PDF kodifikohet ndryshe nga skedarët me tekst. Ai ruan shumë informacione mbi shërbimin: formatimin, shkronjat, imazhet, etj. Por histogrami i tij tregon se disa prej bajtëve ndodhin me probabilitet afërsisht të barabartë, ndërsa të tjerët - shumë më shpesh se të tjerët. Prandaj shpërthimet e shumta të mprehta në histogram, dhe në përgjithësi ajo ka një pamje mjaft të "rreckosur", megjithëse zë të gjithë gjerësinë e disponueshme.
Dhe skedari i fundit është zip në formatin 7Z:
Ky histogram ka dy karakteristika kryesore: së pari, të gjithë bajtët gjenden në skedarin zipped me një probabilitet pak a shumë të barabartë (një buzë e sipërme mjaft e sheshtë), dhe së dyti, praktikisht nuk ka hapësirë të lirë mbi histogramin, që tregon një mungesë pothuajse të plotë e tepricës një dosje e tillë. Prandaj, mund të konkludojmë se algoritmi i arkivuesit në një mënyrë të veçantë "përzie" bajtet e skedarit në mënyrë që të arrijë shpërndarjen e tyre maksimale uniforme.
Kështu, entropia në shkencën kompjuterike, si në fizikë, është një masë e çrregullimit në sistem, në këtë rast, çrregullimit në shpërndarjen e bajtëve në skedar. Entropia ju lejon të gjykoni shkallën e ngjeshjes së skedarit dhe - indirekt - për llojin e saj.
