Twitter タグの一覧です(14 件)

[Python] Twitter in 3D on Ubigraph

先日、Twitterで知り合ったdoyaさんと実際にお会いして、互いの職歴や、地元の話、最近のWebサービスのことなど、色んな話をしたのですが、最近注目している技術やWebサービスは何かという話題で、情報を可視化出来るUbigraphの話になり、付属されているデモンストレーションを見せてもらいながら、Pythonを含めた何種類かの言語で操作が可能なこと、特にPythonで書かれたサンプルスクリプトが多く付属されていることを教えてもらった。
早速、Pythonの勉強にサンプルコードを読もうと思ったのですが、どうせならTwitterを可視化した事例がないかと調べたところ、ブラジルのChristian S. Perone氏のblogでTwitterのFollowingを可視化したTwitter3D.pyというコードを発見。

Twitter in 3D ! – Pyevolve

早速ダウンロードして、動かしてみた。
その動画がこちらです(HQ視聴がおすすめです)



ところが、どうもFollowしているのに表示されない人がいるので、Follow数をカウントしたところ、ちょうど100人。どうやらPython-twitterの仕様で100人までしか取得出来ないっぽい。

【ご参考】 テックノート@ama-ch – python-twitterで遊んでみた 基本編

Twitterのapiでは、page=ページ番号 (オプション)が用意され、ページ番号を指定することで、指定ユーザの friend の一覧を100件単位で取得することが出来るようだが、python-twiterにpageパラメータが用意されていない模様。さらに調べてみるとこのようなページが

python-twitter Issue 20:Only return 100 users

trunk版では一ヶ月前に解決されているようです。
そこでeasy_installでインストールしたpython-twitterをアンインストールし、trunk版をインストール。その後、Twitter3D.pyでFollowingを全て取得するコードを追加して無事100人以上表示させることが出来た。
修正を加えたコードはこちら

#!/usr/bin/env python
# coding: utf-8
#
# This code is forking from twitter3D.py (H.Aoshima). 
# Christian S. Perone makes the original. 
# Please Note it.
# Python-twitter of the trunk version (r137 or higher) is necessary. 
#

import time
import xmlrpclib
import socket
from sets import Set
import random
from optparse import OptionParser

try:
    import twitter
except:
    print "error:\tcan't import python-twitter module, you must install the module:\n"
    print "\tto install: 'easy_install python-twitter'\n"
    exit()

server_url = 'http://127.0.0.1:20738/RPC2'
screenname = ""
api        = ""
G          = ""

GREEN_COLOR  = "#00ff00"
RED_COLOR    = "#ff0000"
YELLOW_COLOR = "#ffff00"

expandedVertices = Set()
vertexes         = {} 
vertexes_invert  = {} 

def get_allfriends(root_name): #get  all friends
    friends, cnt = [], 1
    while not len(friends) % 100:
        friends += api.GetFriends(root_name, page=cnt) 
        cnt += 1
    return friends

def expand_vertex(v): 
    if v in expandedVertices: 
        return 0
  
    expandedVertices.add(v) 
    G.set_vertex_attribute(v, "color", YELLOW_COLOR) 
    root_name = vertexes[v] 

    print "Getting friends of %s..." % root_name
    friends = get_allfriends(root_name) 
#   print len(friends) # debug

    if len(friends) <= 0: 
        color_node = GREEN_COLOR if vertexes[v] != screenname else RED_COLOR
        G.set_vertex_attribute(v, "color", color_node)

    for friend in friends:
        friend_name = friend.GetScreenName()

        if vertexes_invert.get(friend_name) is not None: 
            edge = G.new_edge(v, vertexes_invert[friend_name]) 
            G.set_edge_attribute(edge, "arrow", "true")
        else: 
            new_vertex = G.new_vertex()
            G.set_vertex_attribute(new_vertex, "label", friend_name)
            G.set_vertex_attribute(new_vertex, "shape", "sphere")

            vertexes.update({new_vertex: friend_name}) 
            vertexes_invert.update({friend_name: new_vertex}) 
            edge = G.new_edge(v, new_vertex)
            G.set_edge_attribute(edge, "arrow", "true") 


    color_node = GREEN_COLOR if vertexes[v] != screenname else RED_COLOR
    G.set_vertex_attribute(v, "color", color_node)


    return 0	

if __name__ == "__main__":
    print "Twitter3D - Twitter 3D nodes viewer"
    print "By Christian S. Perone (@tarantulae)"
    print "http://pyevolve.sourceforge.net/wordpress\n"

    parser = OptionParser()
    parser.add_option("-u", "--username", dest="username",
                    help="The twitter username", metavar="USERNAME")

    parser.add_option("-p", "--password", dest="password",
                    help="The twitter password (optional)", metavar="PASSWORD")

    (options, args) = parser.parse_args()

    if (not options.username):
        parser.print_help()
        exit()

    pass_msg = "authenticated" if options.password else "unauthenticated"
    print "Starting the Twiter3D for user %s (%s)..." % (options.username, pass_msg)

    screenname = options.username
    api = twitter.Api(username=options.username, password=options.password)
    server = xmlrpclib.Server(server_url) 

    G = server.ubigraph 

    try:
        G.clear() 
    except socket.error, msg: 
        print "error:\tcan't connected to the Ubigraph server, the server is running ?\n\terror message:%s\n" % msg
        exit()
 
    root = G.new_vertex() 
    vertexes.update({root : screenname}) 
    vertexes_invert.update({screenname : root}) 

    G.set_vertex_attribute(root, "color", "#ff0000") 
    G.set_vertex_attribute(root, "shape", "sphere") 
    G.set_vertex_attribute(root, "label", screenname)
  
    myPort = random.randint(20700,30000) 
    G.set_vertex_style_attribute(0, "callback_left_doubleclick",
    "http://127.0.0.1:" + str(myPort) + "/expand_vertex") 
    from SimpleXMLRPCServer import SimpleXMLRPCServer 
    server = SimpleXMLRPCServer(("localhost", myPort))
    server.register_introspection_functions()
    server.register_function(expand_vertex) 
    print "Listening for callbacks from ubigraph on the port %d..." % (myPort,)
    server.serve_forever() 

Christian S. Perone氏には、Followingを100人以上取得出来るようにしたので、折角なので公開していい?という旨のメールを送り、全然問題ないし、書いたらlink教えてという返事を頂いた(無茶苦茶な英文でやり取りしてもうた><)。
Ubigraphをやったことない人はデモがかっこいいので是非ご覧になってください。


がんばれ! アドミンくん の新作情報を知らせるTwitterBotを作った

@ITで連載中の4コマ漫画がんばれ! アドミンくんは、システム管理者のありがちネタをユーモラスに描いており、とっても面白く、一服の清涼剤という感じで、第一話から欠かさず読んでいます。
今回、がんばれ! アドミンくんの新着を見逃さないように、新着情報を知らせるTwitterBotを作成しました。
http://twitter.com/ad_min_kun
アカウントがadmin_kunでなく、ad_min_kunと細切れになっているのは、下のようにadminという文字は使えないようなので。

image01

がんばれ!アドミンくん はRSSを吐き出していない為(YahooPipes等の外部サービスでRSS化しているものは見かけます)、スクレイピングで対応しました。例によってコードを晒します。
Python2.4と2.5で動作確認をしています。スクレイピングにBeautifulSoupを、Twitter投稿にpython-twitter(依存関係でsimplejsonも必要)を使用しています。

# coding: utf-8
import urllib2
from twitter import Api as TwitterApi
from BeautifulSoup import BeautifulSoup


def file_open(f):
    r = open(f,'r')
    latest_number = r.readline()
    r.close()
    return latest_number

def parse_html(u):
    soup = BeautifulSoup(urllib2.urlopen(u))
    data = []
    for node in soup.findAll('td', {'colspan': '3'}):
        for tag in node('table', {'width': '100%', 'cellpadding': '3', 'border': '0'}):
            for atag in tag('a'):
                data.append([atag['href'], atag.string])
    data.reverse()
    return data

def main(data, latest_number):
    for i in data:
        entry_link, entry_title = i[0], i[1]
        e = entry_link.split('/')
        entry_number = e[4]
        if latest_number < entry_number:
            api = TwitterApi(TWITTER_USERNAME, TWITTER_PASSWORD)
            post = u'%s %s%s' % (entry_title, DOMAIN, entry_link)
            api.PostUpdate(post)
            latest_number = entry_number
    return latest_number

def file_close(f, l):
    w = open(f, 'w')
    w.write(str(l))
    w.close()

if __name__ == '__main__':
    FILE = 'adminkun_status.txt'
    TWITTER_USERNAME = 'TWITTER_ACCOUNT'
    TWITTER_PASSWORD = 'PASSWORD'
    URL = 'http://www.atmarkit.co.jp/fwin2k/itpropower/admin-kun/index/index.html'
    DOMAIN = 'http://www.atmarkit.co.jp'
    latest_number = file_open(FILE)
    data = parse_html(URL)
    latest_number = main(data, latest_number)
    file_close(FILE, latest_number)

実は前回のBotはこれの副産物でした。自分にとってTwitterは、すっかり情報ハブになっているので、有益になりうるTwitterBot候補があれば、ちょくちょく作っていこうかと思います。


ラジオNIKKEI競馬実況webのNEWSを配信するTwitterBotを作りました

17年近く競馬をやっていた私が、結婚してからいうもの、すっかり馬券を買わなくなっていたのですが、去年の年末に東京大賞典だけ購入しました。結果は駄目でしたが、やはり競馬は面白いね!ということで、いつも予想時に参考にしているラジオNIKKEI競馬実況webのニュースをTwitterに配信するBOTを作りました。

http://twitter.com/keiba_news

配信は1時間に1回にしています(レンタルサーバのcronジョブの最短間隔が1時間なので)。例によってコードを晒します。このコードはPython2.4と2.5で動作確認をしています。また、RSSのパースにfeedparserを、Twitter投稿にpython-twitter(依存関係でsimplejsonも必要)を使用しています。

# coding: utf-8
from time import *
import email.Utils
import feedparser
from twitter import Api as TwitterApi

def file_open(f):
    r = open(f,'r')
    latest_date = r.readline()
    r.close()
    return latest_date

def parse_feed(u):
    data = feedparser.parse(u)
    feed = []
    for entry in data.entries:
        feed.append([entry.date, entry.title, entry.link])
    feed.reverse()
    return feed

def main(feed, latest_date):
    for i in feed:
        entry_date, entry_title, entry_link = i[0], i[1], i[2]
        entry_date = localtime(mktime(email.Utils.parsedate(entry_date)) + 32400)
        entry_date = strftime('%Y/%m/%d %H:%M',entry_date)
        if latest_date < entry_date:
            api = TwitterApi(TWITTER_USERNAME, TWITTER_PASSWORD)
            post = u"%s %s %s" % (entry_date, entry_title, entry_link)
            api.PostUpdate(post)
            latest_date = entry_date
    return latest_date

def file_close(f, l):
    w = open(f, 'w')
    w.write(str(l))
    w.close()

if __name__ == '__main__':
    TWITTER_USERNAME = 'TWITTER_ACCOUNT'
    TWITTER_PASSWORD = 'PASSWORD'
    FILE = 'radionikkei_status.txt'
    URL = 'http://keiba.radionikkei.jp/keiba/rss2/news/'
    latest_date = file_open(FILE)
    feed = parse_feed(URL)
    latest_date = main(feed, latest_date)
    file_close(FILE, latest_date)

なんか無理矢理、関数組んじゃったりしてますが、とりあえず動いてます><
というわけで、ついったったーで競馬好きな方がいらっしゃいましたらFollowしてやって下さい。

参考サイト


クックパッドの話題のレシピをtwitterにPOSTするBOTを作った

うちの家庭でなくてはならないクックパッドのレシピですが、ふと思い立ってクックパッドの話題のレシピをtwitterにPOSTするcookpad_recipeというBOTを作りました。よければfollowしてやって下さい。本家からクレーム入ったり、小遣いを減らされてサーバ代が払えなくならない限り続けます。
作成の経緯は、pythonの勉強をしている際にどんぴしゃな情報があったので発作的に作って、レンタルサーバにアップしちゃったというのが本当のところです。

BOTの説明

  • クックパッドのメインページにある”話題のレシピ”からレシピタイトルとURLを取得します。
  • レシピごとにtwitterにPOSTします。
  • POSTは一日一回で、今のところ17時に実施します(夕飯の献立を考える頃合いを狙ってます?)

pythonの環境

  • レンタルサーバのユーザ領域にvirtual-pythonをインストール
  • python-twitterが必要(依存関係でsimplejsonも)
  • HTML解析にBeautifulSoupが必要

モジュールはeasy_installがあればすんなり入ります。で、作ったBOTのコードがこちら

import urllib2

from twitter import Api as TwitterApi
from BeautifulSoup import BeautifulSoup

TWITTER_USERNAME = 'twitterのscreen_name'
TWITTER_PASSWORD = 'password'

COOKPAD_URL = 'http://cookpad.com/'
soup = BeautifulSoup(urllib2.urlopen(COOKPAD_URL))

def fetch_data():
        for node in soup.findAll('div', {'id': 'wadai-recipe-inner'}):
                for tag in node('a', {'class': 'recipe-title'}):
                        yield tag['title'], tag['href']

def main():
        api = TwitterApi(TWITTER_USERNAME, TWITTER_PASSWORD)
        for recipe_title, recipe_url in fetch_data():
                post = u"%s %s" % (recipe_title, recipe_url)
                api.PostUpdate(post)

if __name__ == '__main__':
        main()

コードはこちらの方とそっくりになってしまいましたが、オリジナルコードがすばらしいということで(汗。
それにしてもBeautifulSoupはとっても面白くて、適当なサイトを見つけてはスクレイピングの練習をしています。インタラクティブシェルで結果が即反映するので楽しいですよ。

尚、virtual-pythonなどpython環境については後日もう少し書きたいと思います。

[2008年12月23日追記]
クックパッドのトップページに若干の修正あったようで、それに合うようにコードを若干修正しました。

import urllib2

from twitter import Api as TwitterApi
from BeautifulSoup import BeautifulSoup

TWITTER_USERNAME = 'twitterのscreen_name'
TWITTER_PASSWORD = 'password'

COOKPAD_URL = 'http://cookpad.com'
soup = BeautifulSoup(urllib2.urlopen(COOKPAD_URL))

def fetch_data():
        for node in soup.findAll('div', {'id': 'wadai-recipe-inner'}):
                for tag in node('a', {'class': 'recipe-title'}):
                        yield tag['title'], tag['href']

def main():
        api = TwitterApi(TWITTER_USERNAME, TWITTER_PASSWORD)
        for recipe_title, recipe_url in fetch_data():
                post = u"%s %s%s" % (recipe_title, COOKPAD_URL, recipe_url)
                api.PostUpdate(post)

if __name__ == '__main__':
        main()

[追記ここまで]
[2009年3月22日追記]
レシピの配信方法を、17時に一括から都度配信にしました。そこらへんについては後述します(つもり)
[追記ここまで]


PAGE TOP