Sobre la exploración en el “Internet invisible”. Una alternativa más allá de la web convencional

 Por Fernando Gutiérrez

 Hay quienes suponen que lo que no está disponible a través de los diversos motores de búsqueda en línea no existe en Internet. Sin embargo, existe mucha información valiosa en Internet que no está al alcance de los distintos motores por diferentes razones. Esta información, no indexada o clasificada por los motores de búsqueda, que se encuentra en bases de datos muy particulares, o en otros ambientes diferentes a la World Wide Web, es parte de lo que algunos han denominado el “Internet invisible”.

Por ejemplo, si un usuario utiliza, en el motor de búsqueda de Google, la instrucción “site:” seguido de la dirección o URL, podrá conocer cuántas páginas de ese sitio han sido indexadas por el motor. Por ejemplo, si se teclea site:www.reforma.com (sitio del diario mexicano Reforma) podrá identificarse que sólo existen más de 97,000 documentos indexados de todo el sitio, es decir, no toda la información del periódico está disponible en Internet. Afortunadamente, la misma Google, ha puesto a disposición de todos los usuarios herramientas para la búsqueda de toda clase de información en Internet: imágenes, mapas, noticias, grupos de discusión, productos comerciales, videos, blogs, finanzas, libros, ensayos o proyectos escolares que difícilmente se hallan en el motor convencional (http://www.google.com).

Por ejemplo, Groups de Google (http://groups.google.com), permite la búsqueda de todo tipo de información generada por grupos de discusión en Internet. En este caso la producción de información está en manos de los usuarios quienes discuten constantemente sobre una amplia diversidad de temas. Este tipo de espacios, es constantemente utilizado por empresas comerciales para monitorear lo que los usuarios pueden estar discutiendo en torno a sus productos. Sin embargo, también lo exploran políticos, académicos, y cualquier persona que desea saber lo que piensan otros usuarios sobre un tema particular.

Si un usuario está próximo a adquirir un nuevo automóvil y desea saber qué opinan otras personas de una marca o modelo en específico puede buscar en Groups de Google y encontrar información que seguramente resultará de gran utilidad. Lo mismo puede hacer para conocer la percepción de otras personas sobre cualquier tipo de producto (computadoras, impresoras, televisores, lavadoras, relojes…)

La información disponible en Groups difícilmente se podrá encontrar en un motor tradicional. Lo mismo sucede con otros útiles e interesantes servicios como Books (http://books.google.com) y Scholar (http://scholar.google.com). En el primer caso, la búsqueda se centra exclusivamente en el contenido de libros de distintos tipos (filosofía, economía ciencia política, lingüística, matemáticas, literatura, ciencia ficción…). El usuario únicamente tiene que teclear sus palabras claves para activar la búsqueda. Los resultados tendrán extractos del libro. En algunos casos, si se trata de libros de dominio público, se pueden descargar completamente en formato PDF.

Lo importante es que además de estos servicios de búsqueda que provee, en este caso Google, existen otros servicios importantes en Internet que sirven para la búsqueda de información invisible para los motores tradicionales. Tal es el caso del sitio “Country Reports” (http://www.countryreports.org), “Virtual Tourist” (http://www.virtualtourist.com), “internetinvisible.com” (http://www.internetinvisible.com), y lo contenido en las redes P2P. BearShare (http://www.bershare.com), LimeWire (http://www.limewire.com), Morpheus (http://www.morpheus.com), y Shareaza (http://www.shareaza.com)

Country Reports. Sitio en español (http://www.countryreports.org)

“Country Reports”, es una gran base de datos que contiene más de 26,000 páginas con información general de los diversos países en el mundo. Este sistema resulta de gran utilidad para el análisis general de mercados internacionales. La información que puede encontrarse en este sitio considera la cultura, costumbres, historia, símbolos nacionales, la geografía, la economía, y el gobierno de cada país, además de otros aspectos interesantes.

Además de estos casos, existen mucho más sitios característicos de la Web profunda o invisible, cuyos contenidos no son indexados o considerados por los motores de búsqueda comunes.

Recuerde que no necesariamente todo lo que no encuentre en los motores de búsqueda no existe en Internet.

El uso de agentes inteligentes en Internet

Por Fernando Gutiérrez
Artículo públicado en el número 170 de la revista PYME bajo el título “Comprenda las técnicas de Internet”

Como el tiempo es, cada vez más, un factor determinante en la vida de las personas, y la posibilidad de acceso a la información es cada vez más amplia, los usuarios de Internet deben desarrollar habilidades y buscar herramientas para acceder oportuna y acertadamente a los datos que requieren para su desempeño personal. Los agentes virtuales son una buena alternativa para ahorrar tiempo de búsqueda de información e incluso para el análisis y atención de peticiones.

Las organizaciones han comenzado a invertir en el desarrollo o adquisición de agentes virtuales para la administración de las relaciones con los clientes. De esta forma se pretende reducir los costos de soporte y mejorar ampliamente la atención para los clientes.

Para la búsqueda constante de información hay programas públicos que funcionan como agentes virtuales. El usuario solo necesita configurar sus parámetros de información y el programa se encargará de hacer el resto. Una vez que encuentre los datos requeridos los podrá enviar al correo electrónico del usuario o hacia alguna cuenta de mensajería según sea el caso.

Un ejemplo interesante es el de Google Alerts (http://www.google.com/alerts). Una herramienta que permite hacer automáticamente búsqueda o monitoreo de información para posteriormente mandarla al correo electrónico del usuario solicitante. En lugar de que el usuario pierda tiempo en la investigación constante de información, se crea una alerta y el programa se encarga de buscar y mandar la información requerida por el usuario.

Google Alerts, enfoca su búsqueda en noticias, blogs, videos, grupos de discusión y páginas web. La alerta puede configurarse para recibirse por correo electrónico una vez al día, constantemente (cada vez que encuentre la información), o una vez por semana.

Google Alerts funciona como un agente personal que se encarga de la búsqueda constante de cualquier tipo de información requerida por el usuario. El sistema permite también la administración de varias consultas a través de un sencillo panel de control. Sólo se requiere una cuenta de acceso para ello.

En general, esta herramienta puede resultar de gran utilidad para el monitoreo de noticias, análisis de la competencia o de algún sector de la industria, seguimiento de avances en un tema específico (ej. medicina), conocimiento de movimientos y de posiciones de equipos deportivos, además de otros aspectos de gran interés.

Para conocer más ejemplos sobre agentes virtuales inteligentes se recomiendan las siguientes direcciones:

La anatomía de los motores de búsqueda

Por Fernando Gutiérrez
Artículo publicado en el número 169 de la revista PYME bajo el título “Comprenda las técnicas de Internet”

Un motor de búsqueda es un sistema que busca y clasifica documentos almacenados en los diversos servidores de Internet -a este proceso de clasificación se le conoce también como “indexación”-. El primer sistema de búsqueda popular en Internet se llamó “Archie” y se orientaba exclusivamente a la investigación y clasificación de los nombres de los archivos concentrados en servidores FTP –servidores que usaban el protocolo para la transferencia de archivos-. De ahí el nombre de “Archie” que hace alusión a “Archive”. Este sistema no buscaba en los contenidos de los documentos, sino exclusivamente examinaba los nombres de los archivos.

Con la llegada de otras aplicaciones en Internet aparecieron nuevos mecanismos de búsqueda, como el caso del sistema “Veronica” que funcionaba para “indexar” los archivos de la aplicación Gopher –aplicación que precedió a la World Wide Web-, y finalmente Wandex, que fue el primer motor de búsqueda para la Web, desarrollado en el MIT en 1993.

Después de Wandex surgieron otros motores importantes como Aliweb (1993), Webcrawler (1994), Infoseek (1994), Lycos (1994), Altavista (1995), Excite (1995), HotBot (1996), Ask Jeeves (1996), Northern Light (1997), Google (1998), All The Web (1999), Teoma (1999), Baidu (2000), Info com (2003), Yahoo Search (2003), MSN Search (2005), Ask.com (2005), Live Search (2006), Wikiseek (2007).

La empresa Yahoo fue fundada en 1994, sin embargo, integró su motor de búsqueda hasta 2003. Antes de esta integración operaba como catálogo temático general, y el proceso de “indexación” o clasificación de la información era manual.

Los motores de búsqueda emplean programas llamados “robots” o “arañas”, que saltan de un lugar a otro recogiendo información (por lo general contenida en páginas Web) y almacenando todos los datos en una enorme base. Estas bases de datos contienen, por lo general, el título de la página, una descripción detallada del sitio, palabras clave e información de enlaces (a esta información también se le conoce como información “META”, que va más allá del contenido).

Por ejemplo:

En algunos casos pueden incluirse, además, comentarios realizados por los responsables del buscador o una valoración subjetiva -votación- que hacen los usuarios que han accedido anteriormente al servidor.  El usuario accede a la base de datos, llenando una forma que ejecuta un mecanismo de búsqueda. Por lo regular, estas formas se llenan con lenguaje natural, o mediante combinaciones de palabras clave o instrucciones especiales, y como salida se recibe un listado con los resultados de la búsqueda.

Los motores incorporan, automáticamente y de forma constante, información de la red mediante los “robots” de búsqueda, y a través de distintos algoritmos posicionan los resultados. Por tal motivo, no es una casualidad que un sitio aparezca primero que otro.  Entre los algoritmos más comunes para el posicionamiento de un sitio aparecen los siguientes:

Bajo estas circunstancias, por ejemplo, tiene mayor probabilidad de aparecer en los primeros lugares un sitio que tenga más referencias de otros sitios, que un sitio que no tenga alguna referencia o sólo unas cuantas. Por tal motivo, puede señalarse que los primeros sitios que aparecen como resultado de una búsqueda son los mejores indexados o clasificados, según los distintos algoritmos.

Como los usuarios, suelen leer sólo los primeros resultados de una búsqueda, el tema de posicionamiento en un motor resulta de gran importancia para aquellas personas u organizaciones que desean poner al alcance de todos los cibernautas su información.

Por ejemplo, si una persona quisiera buscar “pinturas en México” y teclea en el motor de búsqueda de Google México (www.google.com.mx) solamente la palabra “pinturas”, las páginas que aparecerán como resultado serán las mejores posicionadas, no necesariamente las que se esperaba encontrar. En este caso, habría que redefinir mejor la búsqueda, con otras palabras claves para acceder a lo que se requiere (Ej. pinturas de artistas mexicanos, pintores mexicanos, artistas de la pintura en México…)

Los usuarios que buscan información deben comprender que los primeros resultados de una búsqueda responden también a razones de popularidad que derivan de un mejor proceso de indexación. Por tal motivo, es indispensable conocer las diversas técnicas que aseguren una mayor efectividad en el proceso de búsqueda de información en Internet.

Conceptos claves para entender la Internet

Por Fernando Gutiérrez
Artículo públicado en el número 168 de la revista PYME bajo el título “Comprenda las técnicas de Internet”

Actualmente es posible entender a Internet como la colección de redes de dispositivos más grande del mundo, la cual opera bajo un protocolo particular de comunicación denominado TCP/IP, y concentra gran cantidad de información diversa. Sin embargo,  esta interesante tecnología de información admite ser explicada a partir de tres conceptos básicos: redes, protocolos de comunicación y direcciones electrónicas.

Para Vinton Cerf -quien hoy es considerado “Padre de Internet” por el liderazgo que ejerció en el desarrollo del protocolo TCP/IP– Internet fue el resultado de una serie de estudios que comenzaron a realizarse a principios de la década de los 70, para conectar, a una sola red, las diversas redes que funcionaban en ese momento en Estados Unidos, con independencia del tipo de conexión y de su sistema operativo.

Redes

Las redes se forman cuando se conectan dos o más dispositivos entre sí (computadoras, agentes digitales personales, teléfonos celulares…) con el objeto de intercambiar información. Generalmente las redes de computadoras pueden clasificarse en diferentes tipos, en función de la extensión y su situación particular: PAN (red de área personal), LAN (red de área local), MAN (red de área metropolitana), WAN (red de área extensa o amplia)… Internet es, precisamente, producto de la conexión de redes de diversas clases. Las formas de conexión de las redes pueden ser de dos tipos: guiadas (cableadas) y no guiadas (inalámbricas). Entre las formas de conexión guiadas más comunes destacan: el cable coaxial, el cable de par trenzado, y la fibra óptica. En el caso de los medios no guiados sobresalen: la comunicación de radioondas, la comunicación a través de microonda, y los infrarrojos.

Los estándares bluetooth (IEEE 802.15) y wifi (IEEE 802.11), para la comunicación inalámbrica entre dispositivos, transmiten en la frecuencia de las microondas.

Protocolos de comunicación

El 1 de enero de 1983 el conjunto de protocolos TCP/IP sustituyó al NCP (Network Control Protocol), y con este cambio, Internet adquirió las características básicas que tiene actualmente.  Desde ese momento se empezó hablar del concepto Internet, aunque los antecedentes más directos de este proyecto se encuentran a fines de los 60´s. El 1 de enero de 2008 el protocolo TCP/IP cumplió 25 años de operación.

Un segundo elemento de Internet son los protocolos de comunicación, los cuales pueden entenderse como una serie de normas formales para llevar a cabo procesos determinados de comunicación entre distintos equipos. En el caso de Internet, el protocolo de transmisión que rige el intercambio de información entre computadoras es el llamado TCP/IP (Transmision Control Protocol/Internet Protocol), que en realidad es un conjunto de dos protocolos: TCP e IP

Direcciones electrónicas

El tercer elemento que forma parte de la infraestructura técnica de Internet son las direcciones electrónicas, las cuales consisten en números únicos que se asignan a cada dispositivo conectado a la red para que otros puedan reconocerlos.

Todas las máquinas o dispositivos conectados a Internet deben tener una dirección de IP y ésta debe ser única. Las direcciones de IP, que actualmente funcionan en la versión 4 (IPv4), son números binarios de 32 bits y son usados para referirse a cualquier dispositivo conectado a la Internet. Por facilidad estas direcciones generalmente se representan mediante cuatro números decimales separados por puntos. Cada número decimal representa un grupo de 8 bits ó  1 byte. Por medio de un sistema de nombres de dominio, denominado  Domain Name System (DNS), es posible identificar las direcciones que son asignadas a cada máquina en Internet.

Por ejemplo: La dirección:  216.185.128.200   puede ser igual a: www.empresa.com.mx

Generalmente los dominios se forman de la siguiente manera:

Estos tres conceptos -redes, protocolos de comunicación, y direcciones electrónicas- son la base de Internet y pueden contribuir al entendimiento de lo que pasa detrás de de esta compleja estructura de red.

Web 2.0: Una mirada a la revolución de las redes sociales

Por Fernando Gutiérrez
Artículo publicado en el número 166 de la revista PYME

Muchas personas han escuchado del término Web 2.0 en internet, pero pocos saben de su origen y del verdadero impacto social que ha tenido en los últimos años. Lo primero que habría de destacar es que este concepto tiene apenas cuatro años en el mercado.

En 2004, Dale Dougherty, co-fundador  de la empresa editorial estadounidense O’Reilly Media, que edita libros orientados a la informática, introdujo esta idea en una sesión de trabajo que sostuvo con Craig Cline, de Media Live, para el desarrollo de una conferencia. Dougherty argumentaba que la Web, en ese momento, se encontraba en una etapa de renacimiento.  Todo lo que había funcionado anteriormente estaba cambiando, especialmente los modelos de negocio. La nueva Web demandaba de mayor participación del usuario, interacción y comunicación colectiva. Algo que contrastaba con la Web tradicional, estática y pasiva, que prevalecía hasta ese entonces.

Para Dougherty servicios como los de DoubleClick (www.doubleclick.com), Ofoto (ahora: www.kodakgallery.com), Enciclopedia Británica (www.britannica.com), y Mp3.com (www.mp3.com), entre otros, eran más característicos de la Web 1.0 y contrastaban respectivamente con otros nuevos como Google AdSense (www.google.com/adsense), Flickr (www.flickr.com), Wikipedia (www.wikipedia.org) y Napster (www.napster.com), a los cuales veía como más representativos de la Web 2.0

Tim O’Reilly, fundador y presidente de O’Reilly Media,resumía estos contrastes mediante el siguiente cuadro:

Así fue como apareció y se consolidó el concepto de Web 2.0, que describe a una segunda generación de servicios web fundamentada, por lo general, en una comunidad de usuarios activos que colaboran constantemente, formando así una red social. De hecho, uno de los aspectos más característicos y representativos de esta era del Web 2.0 ha sido el auge del blogging. El blog o bitácora rompe con la pasividad de la página web sencilla e instala al usuario, común y corriente, como productor activo de contenido dentro de una comunidad.

Para la creación de un blog no se requiere de grandes conocimientos técnicos por parte de los usuarios. Los sistemas están diseñados de tal manera que cualquier persona puede desarrollar uno, sin costo alguno y en cuestión de minutos. Tal es el caso de Blogger (www.blogger.com) uno de los servicios –ahora de Google- más utilizados para la creación de blogs.

Los blogs hoy constituyen una fuente de comunicación muy importante dentro de internet. Las empresas los utilizan para hacer testing de productos, sondeos de percepción de la marca, para el servicio postventa, y en general para el contacto directo y constante con el cliente. Algunas personas los usan como fuente de información alterna a los medios convencionales. En un principio se concibieron como sistemas estructurados en internet que permitían sencillamente a cualquier persona la publicación de información personal de forma similar a la de una bitácora o diario, con la capacidad de registro de direcciones electrónicas, inclusión de imágenes, e interacción asíncrona. Ahora funcionan también como importantes periódicos digitales que ofrecen distintos puntos de vistas sobre eventos particulares y compiten fuertemente contra los medios convencionales establecidos: prensa, radio y televisión. Los blogs han resultado ser una buena herramienta para la consolidación de grandes redes sociales.

Actualmente se puede encontrar otras plataformas tecnológicas muy representativas también de la Web 2.0. Tales son los casos de MySpace (www.myspace.com), un espacio interesante que alberga a una gran comunidad que comparte constantemente información de todo tipo (fotos, video, audio, texto), You Tube (www.youtube.com ) una plataforma para la exposición e intercambio de videos de de cualquier clase. Facebook (www.facebook.com), la segunda red social más importante en la web, después de MySpace, creada para la interacción de personas mediante una interesante y funcional interfaz. Además, habría que agregar otras plataformas interesantes como LinkedIn (www.linkedin.com), Twitter (www.twitter.com), y la ya mencionada de Flickr (www.flickr.com), para el intercambio de fotografías. Todas éstas han contribuido a una nueva revolución en internet que ha otorgado el poder de decisión y creación a los usuarios de los servicios. La revolución de las redes sociales.

Hábitos de los Usuarios de Internet en México
Estudio 2007

Por Fernando Gutiérrez
Artículo públicado en el número 164 de la revista PYME

En el marco de la entrega de los reconocimientos, a lo mejor de internet, de la Asociación Mexicana de Internet (AMIPCI), celebrado el pasado 25 de octubre, se presentaron los resultados del Estudio 2007 de hábitos de los usuarios en México. Este estudio, que está a cargo del comité de investigación de mercados de la AMICPI, muestra el avance de la industria de internet en rubros como número de usuarios, usos, intención de compra, lugares de acceso, promedios de conexión, preferencias, entre otros.

Algunos de los datos más relevantes derivados de este estudio son los siguientes:

Se calcula que para fines de este año habrá 23.7 millones de usuarios de internet en territorio nacional. La división de usuarios es la siguiente: 19.9 millones de usuarios de 13 años en adelante en zonas urbanas. 1.8 millones de internautas de 13 años en adelante en zonas no urbanas. 1.8 millones de internautas entre 6 y 12 años en zonas urbanas. La tasa de penetración nacional de internet en personas mayores a 6 años es de 25.6% De acuerdo al estudio, habrá para fines de año, 8.7 millones de computadoras con acceso a Internet. Según el sondeo de la propia AMIPCI, el 80% de las cuentas de internet son de banda ancha (DSL. Cable, Conexión Inalámbrica). Solo 19.5% de los usuarios aún se conecta por modem (Dial up).

En lo referente a género se aprecia que el 45% de los usuarios son mujeres y 55% hombres. La distribución por nivel socio-económico es la siguiente: 40% niveles ABC+, 20% nivel C, 27% nivel D+, 14% nivel D/E. Además, 44% de los usuarios tienen entre 20 y 34 años. Por otra parte las entidades federativas con mayor penetración de usuarios son el Distrito Federal (27.9%), Estado de México (12.40%), Jalisco (6.80%), Puebla (4.90%), y Veracruz (4.80%). Entre las principales actividades que más mencionan los usuarios mexicanos se encuentran las siguientes: leer noticias locales (38%), leer noticias internacionales (30%), enviar y recibir correos electrónicos (80%), enviar y recibir mensajes instantáneos (74%), visitar chat rooms (64%), Jugar Online (50%), Bajar música (47%), y visitar páginas con contenido humorístico (45%). Además el 14% de los usuarios mexicanos realizan llamadas telefónicas por internet (telefonía IP). Entre las preferencias de los internautas aparecen las siguientes: descargar y ver videos por internet (84%), publicar información en sitios tipo Hi5, MySpace, Facebook (57%) consultar blogs (56%), mantener suscripciones a podcasts (22%), realizar trámites de gobierno por internet (68%).

El estudio destaca también que aproximadamente el 48% de los usuarios mexicanos se conectan desde el hogar y el tiempo promedio de conexión es 2 horas con 42 minutos. El horario estelar en internet, en el que se tiene mayor penetración (primetime), es de 4 a 6 pm. Y finalmente, uno de los aspectos más interesantes del estudio, es que casi el 50% de los usuarios encuestados por la AMIPCI comentan que internet es indispensable en sus vidas.

Para mayor información sobre este interesante estudio 2007 de hábitos de los usuarios de internet en México, consulte el resumen ejecutivo en la siguiente dirección: http://www.amipci.org.mx