TÉCNICAS DE BÚSQUEDA EN LÍNEA: Función De Un Buscador (Search Engine)

Rastreo de la Web por bots, también llamados spiders, es el proceso en el que las pequeñas entidades programadas recogen datos de la computadora central. Están preprogramados para empezar en un sitio y recopilar toda su información y vínculos. Esos vínculos se registran luego. Esa lista de vínculos se convierte entonces en el orden en que el bot continuará su camino de recopilación de datos. Así que, un spider podría comenzar en lifepacific.edu, pero los vínculos a Foursquare y WASC en la página se convierten en los próximos lugares que el spider vaya después de procesar todo bajo el dominio lifepacific.edu. Después de que el spider este repleto, o un tiempo establecido, el bot regresa y sube el contenido de las páginas web y todos los vínculos de vuelta a la computadora central.

La búsqueda y procesamiento de datos es la recopilación de todos los datos que devolvió el bot. Páginas web, conservadas en HTML, se almacenan en los servidores del buscador (search engine). La versión almacenada no es la versión en vivo de la página web. Lo que se ve cuando se introduzca la dirección URL en el navegador es una versión histórica llamada la versión en caché.

Los bots pueden ser invocados que regresen a las páginas web a menudo, si el contenido cambia con frecuencia. Por ejemplo, la página de BBC News, los bots regresarían a menudo debido a la frecuencia con que el contenido cambia.

Los bots no encontrarán todo en la web. Si no hay vínculos a una página, básicamente la página esta invisible para el buscador (search engine). Si es una página web que requiere una contraseña, o se genera como resultado de una búsqueda, nunca será almacenada en un el buscador (search engine). Las páginas web que nunca serán buscadas se conocen como “Deep web” (web profundo) o el web invisible.

La indexación es el proceso de grabación de cada palabra, cada carácter  y su ubicaciónen una página web. El mismo concepto se encuentra en la parte posterior de un libro, donde se enumeran las palabras principales y en qué páginas se producen. La versión del buscador (search engine) de indexación es donde aparece la palabra dentro de cualquier página, cada ocurrencia de cada sitio web que ha sido rastreado. El índice de Google, es el índice más grande del internet conocido, como La tabla Grande, es tan grande que tiene que tener índices a los índices; hay enorme cantidad de datos presentes.

El proceso de indexación no sólo cita las ubicaciones, pero convierte todo en números. Las computadoras funcionan en 1's y 0's, no en el alfabeto inglés, o cualquier otro en esa situación. El proceso de convertir las palabras en números es importante, porque el proceso de búsqueda no se basa en palabras y letras, si no en matemáticas.

Lo que se escribe en el cuadro de búsqueda, se tiene que convertir en números, de modo que se pueda procesar la solicitud. Antes de que se convierte en números, el buscador se desacera de varios términos. La mayoría de buscadores disponen de una lista de palabras que evitan, palabras que no serán registradas. La mayoría de los buscadores no registran palabras comunes THE, AND, IT, BE, WILL, etc. Estas breves palabras son sólo relleno para la computadora. Si estas palabras son absolutamente necesarias en la búsqueda, debe incluir las entre comillas o en Google agregar el signo de más antes del término. Una vez que los términos se convierten en números, el buscador, calcula qué términos cercanos están catalogados matemáticamente con lo que uno pidió. El algoritmo es complejo, pero devuelve los elementos basados en que tan cerca matemáticamente está a su búsqueda. Los resultados más altos están en la lista primero. Algunos buscadores incluso muestran un porcentaje de relevancia.

Las resultados más altas de relevancia están determinadas por: si las palabras están en el título, en vez de simplemente estar en el texto, si la palabra aparece remarcada o en cursiva en la página, cuántas veces aparece la palabra en una página, el número y la calidad de los vínculos en esa página, y si las palabras aparecen en el encabezado (nube invisible de etiquetas creadas por el programador).

Algo para tener en mente, cuando uno está buscando en el internet no estás buscando en todo el internet. Sólo está buscando en un índice del internet. Google tiene el índice más grande y devolverá millones de resultados, pero Yahoo es más pequeño y devolverá menos resultados. La diferencia no es sólo el número de resultados, sino además son diferentes resultados. Cada buscador enviada bots en diferentes direcciones, por lo que han indizado diferentes partes de la web. No sólo eso, sino que la lista de resultados será diferente porque trabajan de diferentes algoritmos (existen muchos y algunos son secretos vigilados).