Een van de eerste essays die ik graag wilde lezen in ‘Collective Intelligence: Creating a Prosperous World at Peace‘, was de essay van Nova Spivack. Ik heb Nova ontmoet tijdens The Next Web Conference 2008 in Amsterdam, nadat ik een inspirerende presentatie over het Semantische Web van hem had bijgewoond. Nova is de man achter het bedrijf Radar Networks en wordt gezien als een van de pioniers en visionairs op het gebied van het Semantische Web.

Een samenvatting van zijn essay.
Harnassing the collective intelligence of the World-Wide Web, Nova Spivack
Het derde decennium van het Web, Web 3.0, begint ‘officieel’ pas in 2010. Maar langzaam beginnen we ons richting Web 3.0 te begeven.
Het eerste decennium van het Web, Web 1.0 (1990-2000), was vooral gefocust op de technologie en infrastructuur van het Web zelf. Technologieën als HTML, HTTP, Web servers, zoekmachines, ecommerce en de basis architectuur en business modellen voor Web applicaties. De meeste (innovatie) Dollars werden uitgegeven aan ontwikkeling die alleen software ontwikkelaars konden zien.
In het tweede decennium, Web 2.0 (2000-2010), ligt de focus met name op de frontend van het Web. Veel innovatie vindt niet plaats in de daadwerkelijke ontwikkeling van technologie maar in de ontwikkeling van design patterns en user interfaces om de user experience van het Web te verbeteren (AJAX).
Een van de focus punten van web 2.0 is user-generated content, en het taggen van objecten. Dit taggen heeft er voor gezorgd dat het concept om objecten te annoteren middels tags: collaborative tagging (folksonomy) een vlucht heeft genomen.
In het derde decennium, Web 3.0 (2010-2020), gaan we terug naar de backend. De infrastructuur van het Web wordt geuprade en de content van het Web wordt verrijkt zodat het meer en meer als een database kan functioneren.

Momenteel bestaat het Web uit ongestructureerde en semigestructureerde data. De huidige zoekmachines zijn keyword based en bieden alleen rudimentaire zoek resultaten op basis van eenvoudige queries. Als we deze mogelijkheden vergelijken met de zoekmogelijkheden van een database dan zien we al snel het verschil. Echter dit gaat veranderen.
Het Semantische Web biedt een mogelijkheid om ongestructureerde en gestructureerde data dermate te verrijken dat deze doorzocht kunnen worden met de precisie zoals we die bij databases kennen.
Het Semantische Web is geen nieuw Web maar slechts een laag over het huidige Web heen. De semantische meta data die het Semantisch Web mogelijk maakt zal in de webdata zelf zitten, dit is mogelijk door gebruik te maken van nieuwe markup talen als RDF en OWL. Deze markup is voor de gebruikers niet zichtbaar (in de browser), echter applicaties die compatibel zijn met deze markup taal kunnen de metadata wel lezen. Zoekmachines kunnen deze meta data gebruiken om de content van webpagina’s beter te kunnen interpreteren. Dit maakt het Web op de lange termijn ‘intelligenter’.
Domein specifieke kennis die momenteel nog in het hoofd van een mens zit of in specifieke vertical applicaties wordt universeel toegankelijk en leesbaar door het semantische web. Dit maakt het eenvoudiger om intelligente en domeinspecifieke applicaties te ontwikkelen aangezien de intelligentie niet meer in de applicatie zelf hoeft te zitten maar deze van de data op het Web haalt.
Een persoon begint met kennis delen over het domein reizen, vervolgens voegt iemand kennis toe over het domein geografie en een derde over het domein hotels. Door het klassieke netwerkeffect ontstaat er een superset aan kennis, aangezien deze kennis domeinen verbonden kunnen worden.
Het semantische web kan dan ook gezien worden als een volgende stap van de collectieve intelligentie van de mensheid. Het semantische web heeft meer begrip over je daadwerkelijk zoekvraag en kan derhalve de juiste antwoorden bieden, zonder dat er nog gestruikeld wordt over ambiguïteits problemen. Het semantisch web kan als een soort van nieuwe metataal gezien worden die uitdrukt wat je een persoon nu daadwerkelijk bedoelt.
Ondanks dat het Semantisch Web nog amper van het lab naar mainstream Internet is verplaatst. Is de technologie hiervoor toch al verder dan meeste mensen denken. Er bestaan al (semantische) applicaties die o.a. automatisch informatie kunnen ordenen en suggesties kunnen geven op basis van de veranderende interesses van een gebruiker (Spivack doelt hiermee op zijn eigen applicatie Twine.com ). Deze applicaties (agents) moeten oplossingen gaan bieden voor de enorm groeiende hoeveelheid informatie, en de relaties hiertussen, die we als mens moeten verwerken. Het Semantische Web zal uitaard niet de mens vervangen , het biedt echter oplossingen voor de informatie overload die wel als mens zullen gaan ondervinden.
Momenteel bestaan er enkele barrières voor (de menselijke) collectieve intelligentie die bepaald worden door de grenzen van het menselijke brein. De mens en groepen mensen kunnen slechts tot een bepaald niveau informatie verwerken en verbinden. Als een groep individuen groeit, dan dan wordt het moeilijker om de efficiëntie van de collectieve intelligentie te vergroten. Er is zelfs sprake van hoe groter de groep wordt, hoe dommer deze wordt. Dit probleem maakt het vak van management consultant mogelijk. Het Semantische Web moet op dit probleem een antwoord gaan bieden door het mogelijk te maken dat groepen beter hun kennis kunnen beheren en verbinden, waardoor groepen uiteindelijk collectief slimmer in plaats van dommer worden.
Als het Web zich daadwerkelijk gaat ontwikkelen als hier beschreven is, dan is het mogelijk dat de gehele menselijke kennis binnen 20 jaar op het Web beschreven staat en door ‘machines’ begrepen kan worden. Wikipedia is een begin van het in kaart brengen van de menselijke kennis, DBpedia gaat hierin verder door een semantische web variant van Wikipedia te maken.
Meer en meer applicaties genereren al semantische metadata die middels een API service toegankelijk is. Zo begint een dergelijke applicatie dus als een eiland van kennis, maar middels de API connecties kunnen deze kennis eilanden verbonden worden. Uiteindelijk zal er een groot associatief netwerk ontstaan.
Kon de eerste generatie van het Web nog gezien worden als een medium voor ‘hypertext’ zo kan het Semantische Web gezien worden als een medium voor ‘hyperdata’.
Het Semantische Web toont overeenkomsten met de werking van het menselijke brein. Het menselijke brein is een parallel functionerende collectie van collectieve intelligentie engines. Engines die elk kennis verwerken en genereren.
Echter de collectieve intelligentie van het Semantische Web zal nooit centraal gestuurd worden en kent het geen zelfbewustzijn. Vandaar dat het een andersoortige intelligentie is dan wij momenteel als mens kennen.
hulde! Glashelder stuk Tristan
Monique de haas
11 Oct 08 at 12:38 am
[...] Blogpost on tristanthomaskenrickteunissen.nl Tags people [...]
w3lab - the science of searching » Blog Archive » Harnassing the collective intelligence of the World-Wide Web
11 Oct 08 at 2:25 am
heb zojuist ook het artikel doorgelezen (waar de trein niet goed voor is
hoewel ik Spivack waardeer vind ik het toch allemaal wat ontastbaar wat hij schrijft; het zijn vage voorspellingen die ongetwijfeld uit zullen komen, maar de vraag is nu juist hoe en wanneer. Zijn gebruik van het woord ‘intelligentie’ komt ook niet veel verder dan dat van ons alledaags taalgebruik, en daarbinnen is deze term onvoldoende gedefineerd omzinvol te gebruiken als je echt vooruit wilt.
een groot probleem wat bijvoorbeeld op treed is dat de huidige top-down aanpak (globale standaarden proberen op te leggen die verder gaan dan alleen het format) niet gaat werken omdat deze beperkend werken op de implementatie van semantische kennis in de niches. Binnen deze niches wil je niet beperkt worden door een globale standaard die geen meerwaarde biedt. Er zullen verschillende standaarden voor het representeren van de nichekennis komen. De uitdaging gaat hem zitten in het koppelen van deze verschillende kennisrepresentaties om tot het globale idee te komen. Hierin zullen mensen de link tussen de eilanden moeten leggen.
Ik denk dat Spivack dit ook zo ziet, maar vindt het jammer dat hij daar niet verder op in gaat: hoe gaan we dat, met welke mechanismen, wanneer doen?
NilsR
17 Oct 08 at 12:56 pm
Hi Nils,
Spivack kan naar mijn inziens inderdaad het beste gezien worden als visionair. Zolang de term Semantic Web al bestaat, is het gehuld in een zweem aan utopische voorspellingen. En de vraag blijft altijd hoe moeten we een implementatie in het huidige Web zien of bewerkstelligen. Spivack gaat daar inderdaad inhoudelijk niet op in, behalve dat hij vertelt dat het een laag wordt over het huidige Web heen. Ik persoonlijk denk dat er nog een belangrijke barriere in het gehele proces zit dat getackled moet worden: rekenkracht.
Het is niet voor niets dat Powerset alleen als (search)laag over Wikipedia kan functioneren.
Ik ga in ieder geval verder met het ontwikkelen van (semantische) metadata applicaties + API’s. Ik vermoed dat we door dergelijke initiativen vanzelf langzaam in een wellicht ‘Semantisch Web’ evolueren en anders in ieder geval in een hybride vorm waar meer begrip bestaat over Webdata.
Ik kan me dus wel vinden in Spivack’s ideeen over de kracht van linking van kennis eilanden. Alleen hoe krijgen we partijen zover dat ze hun ‘kennis’ openen voor de wereld?
Alex Iskold schreef op ReadWriteWeb ook een interessant stuk over Semantic Search Semantic Search: The Myth and Reality
Tristan
17 Oct 08 at 1:36 pm
[...] Twine van Nova Spivack stuitte ik op een interessant research project van Takahiro KAWAMURA werkzaam bij Toshiba, [...]
UbiComp, a Ubiquitous Metadata Scouter : Tristan Teunissen
16 Dec 08 at 1:05 am