Informācijas aprēķināšana

.Ievads. Informācijas teorijas elementi.
Tehniskajā diagnostikā, it īpaši izveidojot optimālo diagnostikas procesu, plaši izmanto informācijas teoriju, kā vispārēju paziņojumu teorijas statistikas sistēmu. Diagnostikā tādas sistēmas ir stāvokļu sistēma (diagnožu) un saistīta ar to pazīmes sistēma. Galvenais informācijas teorijā ir jēdziens entropijas sistēmas.

Piezīme. Formulā (1.1.) logaritmu var lietot ar jebkuru bāzi – bāzes izmaiņa noved tikai pie reizinātāja parādīšanās.
Izvēloties divkāršo logaritmu kā vienību entropijas izvēle tiks ņemta nenoteiktas sistēmas bāze, kurai ir divi iespējamie, vienādi ticamie stāvokļi. Vienības nosaukums ir bināra vienība vai bits. Nosaukums bits no angļu vārda binary digit – bināra vienība (divas sākotnējas un beigu burts).
Ja mēs pieņemam rēķinot entropiju decimālo logaritmu, tad vienības būtu jāizmanto kā nenoteiktība sistēmas, kam ir 10 vienādi ticami stāvokļi (decimāla vienība).
…