Begrensninger og utfordringer i Web Data Mining Process

Dagens World Wide Web er oversvømmet med milliarder av nettsider opprettet ved hjelp av statiske og dynamiske programmeringsspråk som HTML, PHP og ASP. Web er en stor kilde til informasjon som en frodig lekeplass for data mining. Fordi dataene er lagret på nettet i ulike formater og er dynamiske i naturen, er en stor utfordring for forskning, behandling og presentasjon av ustrukturert informasjon tilgjengelig på nettet.

Kompleksitet av en nettside er mye større enn den kompleksiteten i hvert dokument vanlig tekst. Web-sider på Internett uten ensartethet og standardisering, mens tradisjonelle bøker og tekstdokumenter er mye enklere i sin konsistens. I tillegg søkemotorene med begrenset kapasitet ikke kan indeksere alle websider som data mining er ekstremt ineffektiv.

Internett er en kilde til kunnskap er svært dynamisk og vokser i høyt tempo. Sport, nyheter, økonomi, og bedriftens nettsider for å oppdatere sine nettsider på en time eller per dag basis. Nå millioner av nettbrukere oppnås med ulike profiler, interesser og hensikten med bruken. Hver av disse krever god informasjon, men vet ikke hvor relevant data effektivt og med liten innsats for å hente.

Det er viktig å merke seg at bare en liten del av nettet virkelig nyttig informasjon. Det er tre vanlige metoder for brukeren i å få tilgang til informasjon som er lagret på Internett:

1. Bruk generelle søkeord eller store søkemotorene føre til millioner av websider, hvorav mange er helt irrelevant.

2. Den semantikk lignende søkeord eller multi-variant tilbake mine resultater tvetydig. For en umiddelbar ord panther er et dyr, sport tilbehør, eller navnet på filmen.

3. Det er mulig at du kan gå glipp av en rekke svært relevante nettsider som ikke er direkte under søkeordet.

For å bruke nettet som et effektivt verktøy og kunnskap funn forskere har utviklet effektive teknikker for data mining for enkelt å hente relevante data, jevnt og Selge lønnsomt.

Web data mining og datainnsamling prosessen er avgjørende for mange bedrifter og markedsundersøkelser i dag. Vanlige teknikker for data mining på Web søkemotorer som Google, Yahoo, AOL, etc. og søkeord, kataloger og temaer. Fordi den eksisterende strukturen i nettet ikke kan gi informasjon av høy kvalitet, nøyaktig og intelligent, kan systematisk Web gruvedrift hjelpe deg å få den ønskede business intelligence og data.

Den viktigste faktoren som hindrer tilgang dypt web er effektiviteten av søkemotoren roboter. Moderne søkemotor roboter eller bots får ikke tilgang til hele nettet på grunn av båndbredde begrensninger. Det finnes tusenvis av Internett-databaser med høy kvalitet og godt vedlikeholdt skannet utgiver kan gi informasjon, men kan ikke åpnes av robotene.

Nesten alle søkemotorene har få muligheter til å kombinere søkeord. Som Google og Yahoo tilbudet som en valgfri setning eller eksakt kamp for å begrense søket. Det tar mer innsats og tid til mer relevant informasjon. Fordi menneskelig atferd og valgene endre seg over tid, til en jevnlig oppdatert nettside reflektere disse trendene.

Det er begrenset plass for nettet av multi-dimensjonale data mining for innhenting av informasjon er svært avhengig av de eksisterende søkebaserte indekser, ikke faktiske data. Fremfor begrensninger og utfordringer har ført til et søk effektivt oppdage og bruke nettressurs
 .;