Google Shell

¿Qué os parecería poder usar Google desde la línea de comandos, en modo consola? Pues eso es lo que ofrece Goosh, un shell para Google que permite realizar un amplio repertorio de operaciones con el buscador más popular. Accediendo a su página, y mediante sencillos comando, se pueden realizar consultas a noticias, páginas web, e incluso realizar traducciones de frases y expresiones.

El uso de Google en modo shell es bastante sencillo e intuitivo, al menos para aquellos que venímos del MS-DOS y del mundo UNIX o GNU/Linux. Aunque se trata de un uso que podría resultar práctico en estos entornos, usando una interfaz realmente de consola, en lugar de una web que la simula mediante AJAX. Quiero decir que usar Google en modo consola a través de un navegador no ofrece demasiadas ventajas respecto a usarlo en modo convencional (aunque tal vez sería cuestión de probarlo con algún navegador en modo texto, como Lynx), pero sí que sería ventajoso disponer de una aplicación que hiciese lo mismo desde los shells de GNU/Linux (Bash, Korn, CShell...), y más ahora que incluso Microsoft, con su Windows Server 2008, pretende dar un empuje al uso de su PowerShell.

Advertimos, eso sí, que no se trata de un "producto oficial" de Google, sino de una iniciativa de terceros, en concreto de Stefan Grothkopp, que hará las delicias de los más geeks, y de los que no lo son tanto. Aún me estoy preguntando por qué el compañero que me dió a conocer su existencia lo hizo con una sonrisa en los labios... ;)

Lobosoft llega a 10.000 visitas

Es motivo de alegría para mí comunicar que hoy llegamos a las 10 000 visitas al blog. Una bitácora que lleva seis meses en Internet funcionando como tal, y aunque no puede competir con otros blogs que reciben miles de visitas diarias, lo cierto es que me ha ido animando a seguir escribiendo ver cómo, poquito a poco, el mapita que tenemos en el lateral del blog se iba llenando de puntitos rojos, representando las visitas que de todo el planeta, y en especial de las comunidades española y latinoamericana de habla hispana iban llegando.

Así pues, en esta fecha entrañable me llena de orgullo y especial satisfacción :) agradeceros vuestras visitas, comentarios y constancia, y desear que el blog vaya a más, creciendo y siendo siempre útil y divertido para todos.

Un servidor web de bolsillo

Pensando en las aplicaciones portátiles y en XAMPP (la aplicación que aúna los servidores web Apache y de bases de datos MySQL, junto a PHP en un entorno sencillo de instalar y administrar, y que cuenta con una versión portátil para llevar en una memoria extraíble o usarlo sin necesidad de instalación), recordé un servidor web que vi hará cosa de un año. Se trataba de un mini-servidor web hardware, es decir, no sólo se trataba del software (como Apache, Microsoft IIS...), sino de un servidor en toda regla, que incluso permanecía conectado a Internet sirviendo una pequeña web informativa sobre el mismo. Este tipo de servidores, constituidos por unos pocos chips o una tarjeta inteligente con GNU/Linux, son bastante útiles a la hora de servir desde una pequeña cantidad de páginas web hasta una considerable cantidad de ellas, siempre teniendo en cuenta sus lógicas limitaciones. Pueden ser usados en dispositivos empotrados, permitiendo su configuración o brindando información a los usuarios (como, por ejemplo, un manual de uso). Ejemplos de este tipo de servidores van desde soluciones comerciales, como la del PicoWeb Server, a estudios universitarios como los presentados en los proyectos Matchbox Web Server e IPic, pasando por curiosidades como el basado en uClinux, una implementación del núcleo de Linux para microdispositivos empotrados (embedded microcontrollers), que ha permitido a Pierre-Philippe Coupard desarrollar un servidor web físico que consume tan poca energía que es capaz de funcionar con la que le es suministrada mediante una dinamo. Se trata de un servidor web de mano en toda regla.

 

Entre toda esta vorágine de friquismo me he encontrado con un producto comercial que promete un servidor web en un USB, con PHP, Perl, CGI, streaming de audio y vídeo, e incluso posibilidad de usarlo como servidor FTP... por "sólo" 69,95$. Me he preguntado entonces qué me ofrecería dicha solución respecto a mi pendrive con XAMPP Portable instalado para decantarme por ella y pagar esa cantidad. Dado que la página de la compañía ofrece una demostración de las posibilidades del servidor web, he accedido a la misma y la verdad es que tenía una serie de páginas bastante simples. Y por curiosidad, he accedido a la página de CuWhois, que permite hacer un whois avanzado a una dirección web, y obtener alguna información suplementaria al whois de DNS común, entre otra el servidor web usado para suministrarnos la página (como curiosidad, probad a hacerle un cuwhois a www.google.com, y veréis que Google usa un servidor web propio, gws, Google Web Server). La respuesta no se ha hecho esperar, y resulta que el servidor web USB que proporciona WebServUSB no es otro que BRS-WebWeaver/1.32. Aunque incorpora otras herramientas, como un servidor de correo, lo fundamental es el servidor web.

La página del proyecto de BRS-Web Weaver permite descargar de forma gratuita el servidor web en su versión 1.33, aunque no se trata de software libre ni es open source. He probado a instalarlo y la verdad es que para los 783KB que ocupa la descarga, el resultado es prometedor. Se trata de un servidor web fácil de instalar y configurar, tremendamente completo, con soporte para PHP, CGI, bloqueo de direcciones y políticas de seguridad, que se complementa mediante un servidor FTP igualmente simple. Puede instalarse como un servicio y/o manejarse mediante una sencilla aplicación.

Lo he estado probando y parece bastante estable, aunque habría que hacerle pasar una prueba intensiva de estrés, aunque las pruebas que le he hecho pasar con Webserver Stress Tool han arrojado unos resultados bastante prometedores.

Cómo saber si me han ELIMINADO del Messenger

Una de las páginas más visitadas de Lobosoft es la referente a la entrada sobre si nos tienen bloqueados o no en el Messenger. En ella, advierto sobre el peligro de usar páginas y programas en los que debemos introducir nuestro nombre de usuario y contraseña de MSN/Passport, como firma y rubrica de nuestro pacto con el diablo. Nos dirán quiénes nos tienen bloqueados, pero se quedarán con nuestro acceso a MSN.

Dado que se trata de una consulta tan recurrente, veremos hoy cómo comprobar si nos han ELIMINADO de Messenger (no sirve para ver si nos tienen bloqueados puntualmente, pero sí para ver si nos han borrado del mismo). Para ello no necesitaremos ningún programa, aparte del propio Messenger, claro está.

Accedemos al menú Opciones, y dentro del mismo a la pestaña Privacidad. En la misma podemos ver una lista de nuestros contactos y agregarlos a la lista de bloqueados, o restablecerlos como contactos deseados. Esta función es la misma que la de bloquear un contacto desde la lista de contactos que presenta Messenger en su uso cotidiano, aquella desde la que seleccionamos las personas con las que deseamos hablar.

 

Bien, dentro de esta pestaña hay una opción etiquetada como "¿Qué usuarios me agregaron a sus listas de contactos?". Si pulsamos en el botón Ver, aparecerá una lista de todos aquellos usuarios que nos tienen agregados como contactos suyos.

 

Es decir, estarán tanto aquellos usuarios que nos agregaron en su día, y nosotros aceptamos como contactos, como aquellos otros que agregamos por nuestra parte, y aceptaron nuestra solicitud.

Si el contacto que buscamos no aparece en la lista (y estuvo algún día) querrá decir que nos ha ELIMINADO de sus contactos de Messenger.

Fácil, sencillo, y sin dar nuestra cuenta a nadie.

¿Cómo saber si Google ha pasado a indexar nuestra web?

Hace unos días presentaba una solución para acceder a un sitio web que los servidores de DNS se resistían a actualizar. La solución pasaba por modificar temporalmente el archivo hosts, de modo que se habilitase el acceso directo del navegador, evitando la resolución de la DNS por parte de los servidores, y dándosela directamente desde el equipo. Obviamente, se trataba de una solución temporal y nada elegante a un problema que se extendía más de lo deseable en el tiempo.

Aunque algunos amigos podían acceder desde sus equipos, lo cierto es que yo no podía hacerlo desde ningún equipo en el que hubiese usado de forma continuada los blogs, ni tan siquiera limpiando la caché de DNS del sistema. Ya que usando Squish me encontraba con un buen porcentaje de servidores DNS sin haber actualizado aún el dominio, me pregunté entonces si Google sería capaz de encontrar los blogs e indexarlos. De hecho, buscando en Google mediante la sentencia “palabras a buscar site:nombredominio.com”, que realiza una búsqueda de las palabra a buscar dentro del dominio especificado tras el parámetro site, la última actualización que me aparecía era del pasado jueves, último día en el que funcionó adecuadamente la resolución del nombre de dominio. Sin embargo, la actualización de los sitios webs por parte de Google es bastante variable. Hace unos meses hablaba con un amigo precisamente sobre este tema, y si bien a él Google venía tardándole aproximadamente una semana en actualizar sus entradas en el blog, en Lobosoft apenas tardaba 5 minutos. Entre otras variables, barajábamos que Lobosoft se actualiza con bastante asiduidad, Google recibe una notificación cada vez que es actualizado, por lo que sabe que hay algo nuevo que debe pasar a indexar, y el tráfico del sitio se ha incrementado bastante (ha subido en apenas un mes en el ranking de Alexa de más de 13 millones a poco más de 2), lo que le hace más apetitoso a Google. Sin embargo, ¿cuándo pasa Google por el sitio, y por qué?

En las estadísticas de Awstats veo que GoogleBot pasó por el sitio web anoche, a las 21:50 horas, y generó un tráfico intenso, de 6,5MB, Pero me gustaría saber cuándo y cómo ha pasado por el sitio, así que he preparado un script en PHP que me envía un correo cuando Google pasa por una de mis páginas. El script es fácilmente modificable para que almacene esta información en un archivo o una tabla de la base de datos. Mi idea es instalarlo en los otros blogs, donde no tengo instalado Awstats para comprobar si están siendo visitados por Google y en qué medida. Aquí os dejo el script, pues creo que puede resultar interesante:

[php]

<?php
if(eregi("google",$_SERVER['HTTP_USER_AGENT']))
{
if ($QUERY_STRING != "")
{
$url = "http://".$_SERVER['SERVER_NAME'].$_SERVER['PHP_SELF'].'?'.$QUERY_STRING;
}
else
{
$url = "http://".$_SERVER['SERVER_NAME'].$_SERVER['PHP_SELF'];
}
$fecha = date("F j, Y, g:i a");
$mailbody = "Se ha detectado un robot de Google en http://".$_SERVER['SERVER_NAME'].", ".$fecha." - El robot ".$_SERVER['HTTP_USER_AGENT']." de Google ha pasado por la página ".$url."\n";
mail("mustelido@gmail.com", "Control de bots de Google", $mailbody);
}
?>

[/php]

La actualización ha sido casi inmediata. Google ha tardado en mandar a sus sabuesos apenas 7 minutos.Grabé una entrada en el blog a las 00:05, y se actualizó el sitemap, enviándole a Google una notificación.

# Your sitemap was last built on 3/June/2008 00:05 am.
# Your sitemap (zipped) was last built on 3/June/2008 00:05 am.
# Google was successfully notified about changes.

Y la notificación de la actualización me llegó al correo  a las 00:12.

Se ha detectado un robot de Google en http://www.lobosoft.es, June 3, 2008, 00:12 am - El robot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) de Google ha pasado por la página http://www.lobosoft.es/index.php

La modificación para que el script realice la grabación en fichero es inmediata. Simplemente basta con sustituir la línea con la llamada a la función mail por unas pocas líneas nos permite guardar el último acceso de Google a nuestro servidor:

[php]

$fp = fopen(TEMPLATEPATH."/visitas.log","w+");
fwrite($fp, $mailbody);
fclose($fp);

[/php]

Googlebot: Los web crawlers de Google

La indexación que realiza Google de los sitios web está a cargo de unos [ro]bots (conocidos como arañas o crawlers) que tienen por cometido recorrer Internet recopilando información sobre los sitios web y llevándola a las bases de datos de los centros de cálculo de Google. De ellas depende que nuestra web sea accesible al mayor número de usuarios en Internet, y de la información que les suministremos, bien sea mediante etiquetas META en el HTML de nuestras páginas, bien a través de archivos como robots.txt, que indica qué pueden indexar y qué no los bots de los buscadores (ya sean de Google, Yahoo, Altavista o cualquier otro).

Hoy nos quedaremos con los bots de Google, el buscador más conocido (y temido por algunos) de la red global. El GoogleBot User Agent es el agente buscador (bot) genérico habitual de Google, y está encargado de recorrer las páginas web e indexarlas, tanto en su contenido textual, como imágenes, comprobación de publicidad mediante Adsense, etc. Se puede clasificar en:

• Googlebot/2.1 o Mozilla/5.0 (compatible; googlebot/2.1): Es el más genérico, y el encargado de la indexación de las webs en Google. No sólo se encarga de leer páginas HTML, sino que también es el bot que indexa los contenidos de archivos PDF, PS, DOC, XSL, RTF, SWF, etc. El segundo es menos habitual. La frecuencia con que pasa el crawler por un sitio web depende del PageRank que ostente dicho sitio.


• Googlebot-Image/1.0: Está encargado únicamente de la indexación de imágenes en las páginas web. Vinculado al buscador de imágenes de Google y muy posiblemente a herramienta Picasa.


• Mediapartners-Google/2.1: Esta araña se encarga de actualizar la publicidad de Google, mediante Adsense.


• Googlebot/Test: Parece ser que es un crawler a pruebas de Google. Parece recorrer archivos de código Javascript (.js) y revisarlos, así como archivos con hojas de estilo (.css). Se encarga de controlar texto oculto en estos archivos, y revisar la redirección a determinados links, evitando así un aumento fraudulento del PageRank, así como clics no válidos en publicidad de Adsense.

Problemas con las DNS

Hace un par de días estuve actualizando el diseño de un par de blogs que tengo por esos cibermundos. Me dieron las tantas de la madrugada con ello, pero quedó todo listo. Sin embargo, al día siguiente no podía ver ninguno de los blogs. El sistema que utilizo es Wordpress, y ambos están apuntados por un dominio determinado (uno por el dominio principal, y otro por el subdominio). El hospedaje de estos blogs, al contrario que el de Lobosoft, lo tengo contratado con una empresa que ofrece este servicio de forma gratuita, ubicando simplemente una pequeña publicidad en la parte inferior de la página, por lo que no resulta intrusiva ni molesta para los lectores, y puedo disponer de un buen servicio de hosting sin coste alguno.

El caso es que, como comentaba, los blogs no estaban accesibles. Pensé que se trataría de un problema en el servidor de hosting, y lo dejé pasar unas horas. Pero, pasado el día, volví a comprobarlo y seguían sin funcionar. Lo comenté con Fernando, de Albloguera, que tras ver que a él sí le funcionaban correctamente ambos blogs me lo hizo saber. Esto ya me intrigó bastante. Durante el día había probado un antiguo blog que aún permanece activo en este mismo servidor, y que es accesible mediante una determinada URL. Éste blog, que está ubicado en el mismo servidor que los otros, sí estaba operativo. De hecho, al hacer un ping a las direcciones, resolvía una IP distinta a la del dominio en cuestión, de modo que por ahí debía estar el problema. Dicho y hecho, abrí un ticket en el servicio de atención al cliente del proveedor de hosting, y comprobé mediante Squish, que ya me dio un buen servicio en el pasado, que en efecto los servidores de dominio de Pxlnet no estaban ofreciendo adecuadamente la resolución a IP del nombre del dominio.

Referral AUNIC.AUNIC.NET

Asking AUNIC.AUNIC.NET (203.29.5.1) for www.mi_dominio.es (type A)

Referral: mi_dominio.es is at ns2.pxlnet.info - IP not supplied
Referral: mi_dominio.es is at ns1.pxlnet.info - IP not supplied

Por otro lado, el servicio de atención al cliente dio por cerrado el ticket indicando que habían comprobado el funcionamiento del dominio y, en efecto, funcionaba correctamente. Habían efectuado, eso sí, una modificación en la IP de los servidores, por lo que el cambio estaba siendo propagado y podría tardar unas 76 horas en estar listo (máxime cuando se trata de un dominio .es). Yo, por mi parte, seguía sin ver el dominio, como si hubiese desaparecido en un agujero negro dentro de Internet. Así que, dicho y hecho, para agilizar el proceso he procedido a limpiar la caché de resolución de mis dos equipos, el portátil y el de sobremesa, ya que desde otros equipos se veía al tener que efectuar la solicitud del nombre de dominio, y en los míos estaría posiblemente cacheada. Esto puede conseguirse mediante la ejecución del comando (en consola)

ipconfig /flushdns

que realiza una limpieza de esta caché. Posteriormente, y en tanto se propagan los cambios, he editado el archivo hosts, incluyendo una línea con la resolución a la IP actualizada del nombre de dominio. Para saberla, he tenido la suerte de poder hacer ping al otro blog que comentaba antes, el más antiguo, que efectivamente ya aparecía actualizado, y copiar esa misma IP. Tras esto, he reiniciado el navegador y listo. Los blogs son accesibles de nuevo desde mi equipo, y listos para ser actualizados.