Business intelligens och web mining för se en bit in i framtiden

Ett urdrag och sammanfattning av längre artikelserie planerad till denna vecka i Nyfiken vital - Människans språk.

En av de mest - personligt - betydelsefulla artiklar jag läst de sista fyra åren är Information, Communication, and Meaning, George A. Miller (jag lämnar som övning till läsaren att försöka hitta på nätet om alls där) där han i sammanfattning föregriper informationsteorin inom de kognitiva psykologin ändå framtill idag (praktiskt ex. rörande image analysis av fmri rörande tester med i hans tidiga arbete närmare informationsanalysen vid mer "manuella" psykologiska tester). Miller var ju också en av de tidiga stora tänkarna och grundläggarna till den kognitiva psykologin, psykolingvistiken och informationsvetenskapen.

Närmare slutet av artikeln skriver Miller:

"It is resonable to asky why we are so redundant. The answer lies in the fact that redundancy is an unsurrance against mistakes. [Jämför gärna också med risk management förövrigt varande det områden där jag mötte informationsteorin först.]. The only way to catch an error is to repeat. Redundant information is an autoatic mistake-catcher built into all natural languages. Of course, if there is no chance of error, then there is no need for redundancy. The large amount of redundancy that we seem to insist on reflects our basic ineffeiciency as information-handling systems. Compared with the thousands or millions of bits per second that electronic devices can handle [...] can chariably be called puny [Miller var förövrigt först med att notera 5 - 7 "gränsen" för arbetsminne vilket är en bra utgångspunkt för att bättre förstå vad han avser]. By making our languages redundant we are able to decrease the rate, H_x(y), to a point where we can cope with what is being said."

När vi ska lära oss sekvenser "utantill" vilket är mycket nära de konkreta försök Millers förklaring avser är detta när det pekats ut med "enkla" formler klart för oss lätt att uppleva lite självklart.

Vår kunskap, vårt intresse och hur vi tänker och känner styr allt övergripande

Övergripande inte bara för individen över intressen, kunskap, humör, vad han eller hon läser m.m. utan också vänner han möter före eller efter idéer utbyts med.

När kunskapen konkret samverkar för uttrycka de komplexa som går långt utanför varje enskilt dokument eller ens alla av våra största välkända corpus. Är vi inte längre i den givna enkla sekvensen vi upprepar tills vi lärt den.

Ungefärlig förståelse av vad t.ex. Stockholm eller en kemisk reagens gör. Dessutom när meningsfull relevans finns samverkar våra konkreta objekt med vad vi redan är, vet och informationen vi fortsatt tar in.

Denna implicita repetition mer kontinuerlig där delar av relationer mellan många koncept kan förstärkas, skapas eller offras för effektivisering via prouning (lättsam sammanfattning pruning inkl. relaterat med referenser The Brain and Consciousness) går långt utanför de vanliga (men likväl innebär verklig praktisk-utmaning) discourse modeller som analysera data nära enskilda meningar i en text normalt använda för att extrahera förståelse från text. Det är väsensskilt genom att dessa i sig inte går att ta vidare till analys av implicit repetition (även om datat de ger givetvis är användbart) därför att deras algoritmer växer icke-linjär i komplexitet.

Snarare är deras ev. motsvarighet i vår kognition just att tolka informationen vi just nu tar in energieffektivt medan andra annorlunda utmaningar kräver att man tänker ytterst annorlunda för att kunna se utan att dränkas i det vansinne i dimensioner enormt komplexa datamängder skapar. Hela det praktiska området för hur vi i det konkreta extraherar enklare data från enskilda dokument finns utmärkt sammanfattat i Speech and Language Processing, Dan Jurafsky och James H. Martinm resp. kompletterat ex. T. Givón två Syntax I och II, eller någon av ett flertal liknande böcker kan ge lite fördjupat perspektiv från en annan vetenskapstradition kompletterande. Att extrahera data bra är även om det ligger utanför huvudintresset här nog så viktigt för att få in data att behandla och av ett idag mycket omfattande referensbibliotek över hela området menar på det allvarligaste att rekommenderad bok är den viktigaste att ha att slå i upp kring allt praktiskt.

Mitt ex. av Speech and Language Processing klarar att visualisera sitt verkliga värde i hur brutalt sliten den hunnit bli på kanske 1.5 år. Klicka för att förstora bilderna.

Relevans i military och business intelligence: Darpa och FBI

Dessa två perspektiv - implicit resp. närmare sekventieull redundans - kan vi fundera över när vi tittar på ex. Darpa's senaste projekt relaterat språkanalys eller tidigare FBI's upphandling för text mining av bloggar, sociala media, forum, instant messaging och allt i övrigt tänkbart över tiden att bli aktuellt i gigantiska internet corpus med ständigt "nya" tekniker och lösningar (själv sorterar jag fortfarande sociala media som antingen mer nära forum eller eg. ganska likt bloggar men med kortare text).

Tittar på vi text och mening vi hittar på internet: hur mycket värdefull konkret information hittar vi troligt direkt (om vi antar att korrektheten för sådant gör det energieffektivt att följa upp den allmänt)? En del del konkret värde finns: Inte minst bara vilka entiteter (ex. personer, organisationer, företag) som har relationer med varandra. Däremot givetvis ingen faktisk kunskap vi bättre extraherar från utvalda datakällor mer än internet generellt.

Och det explicita är vi när vi uttrycker oss oftare också mer noggranna med. Alternativt slarviga där det egentligen betyder föga. Att du ändå behöver tänka efter och sätta koncentrationskraft eller är i affekt.

Båda polerna kan påverka mottagarens värdering av oss (ex. hans är tråkig och berättar aldrig något intressant och hans skämtteckningar är fyllda med racial slures om tyskar och danskar: ska svenskarna aldrig komma över sin historia när du nu vann och tog hela Skåne. Både arg och uttråkad.)

Människan blir enklare mänsklig när flocken växer (lagom)

Tänker vi oss säkert intressant för de som söker reward i pengar implicita eller explicita läckor om företagsaffärer genom analys av information på nätet publicerat av sotra populationer är det föga normalt adderande något inte redan jämförbara eller bättre metoder finns för (ekonomin för en region eller bransch är en annan sak bl.a. därför att vi kan ta ut indikationer av innovation och hur väl sådana orkar tas emot av kund och allt där emellan vilket konkret når väldigt långt med ex. bara med ryggrad i patentansökningar). Ett till ex. jämförbart med patentansökningarna är dataanalysen som får en allt större viktigare roll inom biomedicin: Google: Kvalitetsproblem och Statistik samförekomst koncept: Enkel metod för att förstärka värdet statistik från generellt språk ger vid tillämpning inom specialistområden

Däremot att söka den implicita repetitionen eller de emotionella uttrycken relativt händelser vi objektivt kan beräkna korrelation till (t.ex. förändring av företagsledning) kan vara funktionellt (jag har aldrig prövat det på ett större företag i väsentlig skala men däremot en del 2011 och tidigt 2012 inom det politiska inte utan värde även med då snarast prototyper testande praktiska implementationer) - eller mer vågat (möjligt omoraliskt och ej vad jag själva skulle göra automatiserat) som koncept kanske addera informationskanaler in i populationen för att addera motsvarande priming koncept och mäta reaktionen ("All the people here in Uppsala says Google is afraid of Microsoft and noone really anyway does anything at Google but watching the stock news. How does that make you feel being the new Google CEO and one of the founders? Please anser in a RSS-feed indicated in the meta-data of this page. Thank you, and good luck with your great blog I always read almost daily.").

Praktiskt värde begränsas dock i mängden vi betraktar. Ju större population vi meningsfullt kan avgränsa desto mindre exaktare blir det men samtidigt mer troligt korrekt i det mindre vi kan se. Analyserar vi den lokala livsmedelsbutikens medarbetares bloggar efter implicita uttryck säger det föga troligt något om en ev. kommande upphetsande rea utan troligare något från familjelivet. För däremot t.ex. samtliga politiker i Sverige ev. inkl. tjänstemän som publiceras är det görligt, eller p.s.s. i mer intressant lämpligt i det engelska språkområdet.

Största utmaningen: Tidens hastighet har lite med klockan att göra - Förändringen av intensiteten för språk och händelser är tiden

Ytterligare en begränsning i analys praktiskt och teoretiskt åtminstone så långt jag klarat att se är görligheten att synkronisera hastigheten på tiden in i framtiden när vi predikterat för en punkt nu eller i historien. Utmaningen är att hastigheten här i den mening av hur vi upplever det är relativt ungefär hastigheten saker sker med rent allmänt och inte bara just vad vi analyserar och följer. Finns motivation runt det senare blir fenomenet av och till väldigt märkbart också utan textanalys över stora populationer när olika entiteter försöker överrösta varandra över den kollektiva gemensamma kommunikationskanalyen media, TV, reklam, dagligt tal, tidningar m.m. representerar.

Vi som är åldrade och närmare oss 40 år minns ju också Sverige före internet och fler än två tevekanaler när en populär teve-serie kunde få landet att tystna i fascination över något annorlunda (innan televisionen blev nedring av upprörda medborgare oroade över amerikansk post-Vietnamkrigs-kultur-imperialism, fördumning av the common man of the street man nu hade monopol för att hjälpa att komma rätt, otäcka rednecks i ständigt återkommande serier säsong på säsong utan att folkförflyttningen från hemmet i byn till staden någonsin blev klart, eller radhusområdenas psykologiska-extrempunkter i dramatiserade trivialiteter koncentrerade till extrem hastighet, eller det vulgära Carola uttryckte musikaliskt och kanske på fler sätt: strunt i brist på bättre förutom kanske Onedin-linjen jag som tio åring tyckte var hade många goda artistiska värden).

Att också prediktera sådant brett d.v.s. gå utanför just vårt intresse över kanske i "värsta" fall närmare en miljon koncept är dock mycket mer beräkningskrävande samtidigt som det kraftigt ökar risken för att fel ska propagera från områden där vi inte har riktigt lika bra data (vår kapacitet för mining är ju också begränsad). Samtidigt som sådant om vi håller det separerat i varje ny verklig tidpunkt är typ av data att kontrollera vad vi fortlöpande predikterar mot när det ej tillräckligt tydligt kan verifieras upp till den punkten.

När vi begränsar vad vi analyserar finns risk för nasty surprise

P.s.s. kan sådant när vi ej insett att det ska ses överraska oss. Det blev ju fallet ganska nyligen när revolutionen i Syrien bröt ut som tidigt inte alls fanns på min karta. Om något var det där bara lite mur framför Persien (iran men just sett lite flexiblare över gränserna följande kulturhistorien). Tid är klurigt precis som när vi är upptagna fokuserat själva på något. Vi märker inte tydligt att den behöver passera och kanske missar en buss.

Det störde mig oerhört mycket vid tillfället därför att det var en så fin kedja innan från Syd-Sudan och framåt. Libyen var ju också verkligen så lyckat: viktigt för både Arabvärlden och Västerlandet på väldigt många sätt. Det är konkret viktigt att Libyen lyckas bra i år. Att börja rätt är gör allt enklare därefter. Syrien riskerar att inte bli annat än det otäcka exemplet. Worst-case när diktaturens upplevda huvud i vansinne inte klarar att röra sig. En varning för andra diktaturer ej så förtappade att de hellre förstör hela sitt land för att hindra vad alla utom han själv vill kunna göra. Libyen är mycket mer om saker inte går sämre än nu: En viktig möstespunkt med Västerlandet. Ett ex. på att det går att ta ett förtryckt folk till ett stabilt land. I år är Libyen viktigt.

"H_x(y) can be thought of as the additional information we can expect from each new word in the sequence. Thus H_x(y) is closely related to the rate at which informationen is generated by the source: it measures the average number of bits per unit (per word)".

George A. Miller

Relevans - om vi alls ska förenkla ett begrepp som också måste inkludera vår förmåga att ställa intressanta frågor d.v.s. en kreativ-process där vi ser möjlighet i data att söka djupare utan behov av detektions-baserade regler - behöver därför om det ska vara mer än analys av indata vara vad man kan verifiera ur quality assurance mening på andra sätt än att endast jämföra det med listor av givet korrekta nyckelfakta. Sådana har vi ju redan, och oavsett hur intressant att ta ut bredare, behöver vi för det implicita mäta relevans genom datats förmåga att prediktera världen i konkret mening.

I prediktion är det som för mig verkligen ett privilegium att prestigelöst av och till våg referera det här samtidigt som jag vankligen sedan 2010 påminner om utmaningen synknronisering innebär. Konkret just nu är det "ett antal" månader sedan jag tappat asiatiska publikationer i någon bredd annat än vad jag själv noterat. En känsla jag har sedan någon månad är dock att jag kanske snarast bedömer tiden som för långsam. Jag upplever det inte som fel att mena att det är en karaktärs-defekt hos mig att jag inte vettigt sett till att jag har bandbredd och några till datorer men det är lätt för mig upplever jag att komma i ineffektivt arbete när jag splittrar upp oavsett hur egentligen trivialt det är att lösa för att sampla parallellt.

Relaterat

En till populärvetenskaplig ej länkad i brödtexteb och mer praktiskt användbar guide utan krav på förkunskaper är CIA:s genomarbetade översikt om hur attityder, bias, faktorer relaterat perception, information m.m. påverkar bedömningar vi gör.

Psychology of Intelligence Analysis | CIA.gov

Läsvärd är inte minst Chapter 13 Hindsight Biases in Evaluation of Intelligence Reporting och det är värt också att tänka till om hur detta bias tenderar att påverka bedömningar som görs i populationer och när det får betydelse. Kognitiva bias har den styra att vi kan kvantisera dem för populationer d.v.s. uttrycka hur närmare med vilken sannolikhet populationen är till ett beslut (vilken hastighet de fattar beslutet med). Vill man experimentera lite men inte är över-ambitiös i vilket fall man kan göra väldigt spännande saker räcker det bra att när någonr eagerar på en news event berättar du steg för steg att de redan insett det långt tidigare. Inte allt på en gång. Utan bit för bit med små-steg där de första stämmer näras nog helt med verkligheten. Därefter är ni tillsammans på markov-vandring där det bara handlar om att ingenting ska signalera nytt, fara, oväntat, unknown o.s.v. för då söks nu referenspunkt. När det vandrats ett tag har stabila minnen skapats ganska så. Ta också chansen att addera lite vetskap att de är skickliga på ett område de kan men kanske inte direkt överpresterat i tidigare. Korrekt och utan problematik för experimentet ber du om tillstånd en månad i förväg men utan detaljer relaterat metodik. Utanför det är det möjligen rent av olagligt.

HANS HUSMAN OM PRYLAR