TKMR.blog

MySpaceでOpenSocialアプリケーション "OpenIDクライアント" ー (3)

2008-05-03

前回から引き続き、OpenIDの "関連付け" と OpenSocial の汎用データストレージについて

MySpaceでOpenSocialアプリケーション "OpenIDクライアント" ー (1)

MySpaceでOpenSocialアプリケーション "OpenIDクライアント" ー (2)

association（共有鍵の交換）

OpenIDのspecでは認証リクエスト前にOpenID認証局と共有鍵の交換を行うことが推奨されている。

参考：http://lab.koshigoe.jp/en2ja/openid-authentication-2_0.html#associations

本来、鍵交換にはDiffie-Hellman鍵共有アルゴリズムを利用するべき、と思うけど今回DH鍵交換アルゴリズムを実装するのが目的ではないのでsettion_typeは一番単純な "no-encryption" で実装する。

なお "no-encryption" の場合SSL（https）で通信するべきとのこと（"no-encryption" association sessions MUST NOT be used unless the messages are using transport layer encryption.）

まずOpenID RPからOPへ association リクエストを投げる、前回のHTMLベース探索と同様に OpenSocial API の makeRequest で通信を行い、認証結果を受け取る。


openid.association = function(request_option, callback){
  var self = this;
  var params = {};
  params.contentType = gadgets.io.ContentType.TEXT;

  //パラメータをクエリーストリングとして付加しURLを組み立てる
  var param = [];
  param.push(["openid.ns","http://specs.openid.net/auth/2.0"]);
  param.push(["openid.mode", "associate"]);
  param.push(["openid.assoc_type", "HMAC-SHA1"]);
  param.push(["openid.session_type", "no-encryption"]);
  var url = this.makeURL(request_option.provider, param);

  //association HTTPリクエスト
  gadgets.io.makeRequest(url, function(result){
    //association レスポンス解析
  }, params);
}

送る方は簡単 session_type は "no-encryption"

共有鍵のキャッシュ -> OpenSocial汎用データストレージ

associationレスポンスを解析し有効期限（expire）が切れるまでキャッシュしておく。

今回はキャッシュのために OpenSocial API の汎用データストレージを利用する。このストレージ領域には key & value で任意の文字列を保存することが可能で、各アプリケーションそれぞれ別の保存領域となり、ユーザ毎にユニークとなるというデータストレージらしい。

opensocial.DataRequest クラスの newUpdatePersonAppDataRequest(ユーザID, key, value) メソッドを利用する。

http://code.google.com/apis/opensocial/docs/0.7/reference/opensocial.DataRequest.html#newUpdatePersonAppDataRequest

下記のようにパラメータを解析し結果をJSON形式の文字列へ変換、それをvalue、OPエンドポイントURLをkeyとする。


gadgets.io.makeRequest(url, function(result){
  var results = {};

  //レスポンス結果を解析
  var params = result.data.split("\n");
  for(var i=0; i < params.length; i++){
    if(params[i].search(":") > 0){
      var param = params[i].match(/^([^:]*):(.*)/);
      results[param[1]] = param[2];
    }
  }

  //assoc_handle, mac_key, expires等必要な情報をJSON形式の文字列へ
  var value = this.toJSON({
    "assoc_type":results["assoc_type"],
    "expires_in":results["expires_in"],
    "mac_key":results["mac_key"],
    "session_type":results["session_type"]
  });
  
  //汎用データストレージへ保存、keyはOPエンドポイントURL
  var req = opensocial.newDataRequest();
  var key = request_option.provider;
  req.add(req.newUpdatePersonAppDataRequest(req.PersonId.VIEWER, key, value));
  req.send(function(data){
    callback(result, data);
  });
}, params);

本来のDH鍵交換でやる場合は・・・HTTPリクエストをやって、データストレージへ期限切れるまでキャッシュという大枠は変わらない筈。

今回の gadgets.io.makeRequest API のようにOpenSocialコンテナ（myspace / orkut等）がプロキシとして働くHTTPリクエストの場合でも、DH鍵交換アルゴリズムなら盗聴の危険性は無いってことで良いのかな。あ、でもOpenSocialコンテナによる改竄の危険はあるのか。

まあ実装実験ということで。

以上

ちょっとしたJavaScriptのアプリケーションを作る時に、ちょっとしたデータ保存領域が欲しい事は結構あると思う。（占いアプリで占い履歴とか、占い選択肢とか）

その時サーバを自分で立ててWebAPIでデータストレージを用意してやるのは面倒、かなり面倒。

OpenSocial標準のAPIで汎用的なデータストレージが用意されていて、key & value ペアで任意の文字列を保存できるのは結構使い所ありそうだと思う。JSONにしてやれば構造化もできるわけだし。

Railsホスティングサービスheroku.comとソース管理Git

2008-05-02

AmazonEC2上で動いて、Webブラウザから開発・運用できるRailsアプリケーションのホスティングサービスheroku.com

Herokuが、ブラウザー内でRuby on Railsの開発を可能に

Heroku.com

がGitによるソース管理 & ローカル開発に対応したそうなので、ひとつ試してみる。Macで

Gitとherokuクライアントのインストール

まずPCにGitが入ってないのでインストール。そういえばGitが海外のRubistの間で流行ってるらしいねー、Coderepos的なGithubってGitリポジトリ共有サイトもあるらしいし。で今回のherokuもソース管理にGitを使うのでインストール


% sudo port install git-core

その後、herokuのコマンドラインクライアントをインストール


% sudo gem install heroku

自分用のssh公開・秘密鍵が無ければ用意しておく


% ssh-keygen -t rsa

自分のherokuアカウントと、ssh公開鍵を関連付ける


% heroku list
Enter your Heroku credentials.
Email: mymail@example.com
Password: ********
Uploading ssh public key
=== My Apps
resttest

登録成功、この時点でWeb上から作成済みのアプリケーションがあると、表示される。

テストアプリケーション作成

コマンドラインから新しいアプリケーション "tktest" を作成


% heroku create tktest
Created http://tktest.heroku.com/

ブラウザで開くと確かに作成済み、次にリポジトリからローカルへ落とす


% heroku clone tktest

裏では git clone tktest@tktest.heroku.com みたいなコマンドを実行してるっぽい。ここで何故かssh-keyが見付からないと言われたので ~/.ssh/config を書いておいた、Protocol 1 は不要だと思う。


% emacs ~/.ssh/config
Host *
IdentityFile ~/.ssh/id_dsa
IdentityFile ~/.ssh/identity
Protocol 2,1

tktestフォルダ内に通常通りRailsアプリのディレクトリができている筈


% cd ./tktest
% ruby script/server

mongrelが立ち上がり、とりあえずローカル開発準備完了

編集、コミット、デプロイ

新しいコードを作って適当に編集


% ruby script/generate scaffold Post body:text
.........

とりあえずできた、localhostで確認してからコミットする


% git add .
% git commit

gitの使い方がよく判らないけど、とりあえずコミット完了。本番環境へ反映する


% git push
Enter passphrase for key '.ssh/id_rsa':
Counting objects: 43, done.
Compressing objects: 100% (29/29), done.
.........
HEAD is now at e6b0b72... test
NOTICE: CREATE TABLE will create implicit sequence "posts_id_seq" for serial column "posts.id"
NOTICE: CREATE TABLE / PRIMARY KEY will create implicit index "posts_pkey" for table "posts"
(in /mnt/home/userapps/15472)
== 1 CreatePosts: migrating ===================================================
-- create_table(:posts)
-> 0.1817s
== 1 CreatePosts: migrated (0.1818s) ==========================================

herokuのリポジトリへPushと同時に rake db:migrate と mongrelの再起動までやってくれるぽい。確認してみる

http://tktest.heroku.com/posts

うむうむ、動いてる。

以上

まあちょっとしたアプリケーション作るには楽で良いなheroku.com。現在はベータ中で無料、正式サービスになると課金が始まるらしいけどAmazon EC2で動いているので、課金額もそれくらいになるのかな。Google App Engineと比べると面白い機能は無いけど、作ったサービスの人気が出て自分のサーバで運用したくなったときにheroku.comは良いな。Rails & mongrel & MySQL(?) という普通の環境なので。

例えば突然 heroku.com のサーバが爆発してサービスが止まっても、ローカルにソースコード一式がで揃っているので自分のサーバを用意して復旧できる。データのバックアップだけは気を付ける必要あるけど、ちなみに heroku.com 本番環境の管理はWebからやれ、というポリシーらしい

DB管理画面

コンソール画面（ruby script/console）

あと、rakeタスクを実行する画面もある。

そういえば、ちょうど昨日Google app engineでちょっとしたアプリケーションを作る話を読んで

Google App Engineの使い道、tiny web service

確かに「サーバサイドで処理しないとできないけど、わざわざサーバを用意するのは面倒だな」ってときに、Google app engine や heroku.com や appjet.com なんかの環境が便利だなと思った。

muninプラグインでRailsの処理時間をモニタリング&監視

2008-05-02

そういえば、半年ほど前からfooo.nameの監視にmuninを入れていて、muninプラグインを書いてRailsのパフォーマンスをモニタリングできるようしているのですが

その手順を書いておくと誰か嬉しい人がいるかなと思ったので、メモを残しておきます。サーバはAmazon EC2

muninのインストール

apt-getでmuninをインストール


% apt-get install munin munin-node
% /etc/init.d/munin-node start

Apache・MySQL・CPU / メモリ / ネットワーク / ロードアベレージ辺りのモニタリングが始まる。実際にはcronが設定されていてデフォルト５分に１回モニタリング結果がHTMLとして出力される。出力される場所はconfigファイル /etc/munin/munin.conf にあるので、好みで編集


% emacs /etc/munin/munin.conf
dbdir /var/lib/munin
htmldir /var/www/munin
logdir /var/log/munin
rundir /var/run/munin

あとは /var/www/munin 以下をApacheで見えるように設定、Virtual hostを設定してBasic認証を掛けておいた


% emacs /etc/apache2/httpd.conf
<VirtualHost *:80>
  DocumentRoot /var/www/munin
  ServerName *********
</VirtualHost>
<Directory "/var/www/munin">
  AuthType Basic
  AuthName "Munin zone"
  AuthUserFile /etc/apache2/.htpasswd
  Require user ********
</Directory>

Railsのログをmuninでモニタリング

あとは、この↓サイトを真似してやればOK

Monitoring Rails Performance with Munin and a Mongrel

Railsの出力するlogから total / render / db の時間を見つけ max と avg の値を求め、muninでそれを監視する。Railsアプリケーションの scriptフォルダへ以下のスクリプトを置く


% emacs script/rails_log_monitor.rb
・・・・・・
h = Mongrel::HttpServer.new("127.0.0.1", PORT)
h.register("/avg_response_time", ResponseTimeHandler.new(:average))
h.register("/max_response_time", ResponseTimeHandler.new(:max))
h.run.join
rails_log_monitor.rb

上記スクリプトを実行すると port 8888 でmongrelが立ち上がる、muninはそこへアクセスし結果を取得する

% ruby script/rails_log_monitor.rb

次に、muninプラグインとして下記のスクリプトを /etc/munin/plugins 配下へ

avg_response_time

avg_response_time と max_response_time という名前で置いておく。結果muninが http://127.0.0.1:8888/#{ファイル名} へアクセスし結果を取得、グラフ化。

以上

基本このサイトを真似してやればOK、rails_log_moniter.rb を好きにいじれば ”特定のアクション・コントローラ・処理" 等をグラフ化してモニタリングできる筈。

MySpaceでOpenSocialアプリケーション "OpenIDクライアント" を試すー (2)

2008-04-19

↓ このエントリの続き

MySpaceでOpenSocialアプリケーション「OpenIDクライアント」を試すー (1)

引き続き、OpenIDのIdentifier入力からOpenID Provider（以下OP）エンドポイントURLの探索までを実装する

input（入力）

UIとしてIdentifierを入力するフォームを用意、submitにイベントを追加する。今回この辺りはjQueryを使った。


<form class="rp">
  <input id="identify" type="text" name="openid_identifier" />
  <input type="submit" value="Sign in" />
</form>
<script type="text/javascript">
  $("form.rp").submit(function(){
    var ident = $("#identify").attr("value");
    openid.auth(ident, function(result){
      //something do
    });
  });
</script>

formの値を取得し、メインロジックopenid.authを呼ぶ。以後は normalize > discovery > association > authentication > response parse > verify の順に実行していく。

この辺りはまだOpenSocialに関係無く普通のHTML + JavaScript

ちなみに処理全体の流れは、大体以下のようになる予定。


var openid = {
  auth: function(request_ident, callback){
    var self = this;
    //IDの正規化、http://を補足（ 例：tkmr.myopenid.com => http://tkmr.myopenid.com/ ）
    request_ident = self.normalize(request_ident);
    //OpenID認証局のエンドポイントURLを探索（ 例：http://tkmr.myopenid.com/ => http://myopenid.com/server ）
    self.discovery(request_ident, function(request_option){
      //共有鍵の交換（任意） - 未実装
      //var assoc_handle = self.association();
      //discoveryで見付かったOpenID認証局エンドポイントURLへ認証リクエストを投げる（IFrameで代用）
      self.auth_request(request_option, function(response){
        //認証結果を確認、IFrameのURLから取得
        var res = self.auth_response_parse(response);//認証結果の署名を確認
        if(self.verify(res)){
          callback(res);
        }else{
          callback(false);
        }
      }
    }
  }
}

normalize（正規化）

参考：http://lab.koshigoe.jp/en2ja/openid-authentication-2_0.html#normalization

ユーザの入力したIdentifierの正規化を行う、正式な仕様としては XRI の正規化をサポートする必要があると思うが今回は未実装

とりあえずIdentifierが http で始まらない場合 http:// を付加しておいた。


openid.normalize = function(identify){
  var new_ident = identify.search(/^(http|https):\/\//) > 0 ? identify : "http://" + identify;
  return new_ident;
}

discovery（探索）

参考：http://lab.koshigoe.jp/en2ja/openid-authentication-2_0.html#discovery

正規化後、Identifier（例：http://tkmr.myopenid.com ）からOPエンドポイントURL（例：http://myopenid.com/server ）を知る必要があり、その探索方法として下記の３種類がある

　・HTMLベース探索

　・XRI （ XRIのリンク集 - Yet Another Hackadelic ）

　・Yadis （第3回　OpenIDプロトコルの特徴－DiscoveryとSREG ）

今回の実装では、HTMLベース探索を試す（XRIとYadisによる探索は未実装）


openid.discovery = function(ident, callback){
  switch(ident.split("://")[0]){
  case "http":
    openid.html_discovery(ident, callback);
    break;
  case "xri":
    openid.xri_discovery(ident, callback);
    break;
  default:
    alert("error!!!!!");
    break;
  }
}

HTMLベース探索の実装

ユーザのIdentifier（URL）に存在するHTMLを取得し、OPのエンドポイントURLを探し出す。


例：
<html>
<head>
  <link rel="openid2.provider" href="認証局エンドポイントURL" />
</head>

まずIdentifier（URL）にあるコンテンツを取得する必要がある、今回はHTTPリクエストを OpenSocial APIの gadgets.io.makeRequest で投げる。


openid.html_discovery = function(identify, callback){
  var params = {};
  params.contentType = gadgets.io.ContentType.TEXT;
  gadgets.io.makeRequest(identify, function(res){
    //取得結果(HTML)のパース&解析処理
  }, params);
}

gadgets.io.ContentTypeは XML・JSON・TEXT・FEED の４種類が用意されていて、XMLならXMLHttpRequestのresponseXMLが返ってきたりと、それぞれ想像通りに動く。

・ContentType：http://code.google.com/apis/opensocial/docs/0.7/reference/gadgets.io.ContentType.html

・RequestParameter：http://code.google.com/apis/opensocial/docs/0.7/reference/gadgets.io.RequestParameters.html

また任意のヘッダをリクエストへ付けることも可能

・Header ：http://code.google.com/intl/ja_ALL/apis/opensocial/docs/0.7/reference/gadgets.io.RequestParameters.html#HEADERS


params[gadgets.io.RequestParameters.HEADERS] = {"Accept-Language" : "ja"};

今回の対象はHTMLのため ContentType はTEXT に設定、単純なStringとしてHTMLが返ってくるので、そのHTML内にある目的の <link rel="openid2.provider" href="***" /> タグを探す


var results = {}
var links = res.data.match(/<link[^>]*>/g);
for(var i=0; i < links.length; i++){
  var link = links[i];
  if(link.search(/rel.*openid2.provider/) > 0){
    results.provider = link.match(/href="([^"]*)"/)[1];
  }else{
    if(link.search(/rel.*openid2.local_id/) > 0){
      results.local_id = link.match(/href="([^"]*)"/)[1];
    }
  }
}
callback(results);

ついでに rel="openid.server" も探しておいた方が良いかも。

おまけ：Yadis探索を実装

するためにはレスポンスヘッダの内容を知る必要がある、はず。OpenSocial / makeRequestのドキュメントには特に記述が無かったのでレスポンスヘッダへのアクセスは不明・・・

ただ、makeRequest の通信内容を見る限りでは取得可能なように見える。

レスポンスヘッダさえ取れれば、あとは x-xrds-location に設定されたURLにあるXRDS文章を取得し、XRDSの仕様に従ってOPエンドポイントURLを見つける、で良いのかな。

XRIは・・・、仕様から勉強しておきます：）

以上、今回はOpenID Providerの認証エンドポイントURLの探索まで実装しました。

それでは明日へ続く

MySpaceでOpenSocialアプリケーション "OpenIDクライアント" を試すー (1)

2008-04-13

先々週、MySpace JapanのOpenSocialプラットフォーム対応が発表された

マイスペースが開発者向けプラットフォームを発表 - OpenSocialに完全準拠

ということで、久しぶりにOpenSocialを色々といじってみようと思う。何かネタが無いとやりづらいので「OpenSocial上で動くOpenIDクライアント（Relying Party）」というネタで試してみよう。

OpenSocial ver 0.7

OpenSocial自体については Ver 0.5 の頃Orkut上で試したので、今回はそれを振り返りつつ Ver 0.7 までで新しくなった部分をMySpace上で試してみる。

Ver 0.7変更点

・外部サイトへHTTPリクエストを投げるAPI追加（XML・JSON・Text・Feed（RSS or Atom?））

　　http://code.google.com/apis/opensocial/docs/0.7/reference/gadgets.io.html#makeRequest

・取得可能なプロフィール情報の項目追加（性別・好きな音楽・本等々）

　　http://code.google.com/apis/opensocial/docs/0.7/reference/opensocial.Person.Field.html

・各アプリケーション毎のデータストレージ API 追加（任意の key & value のペアでサーバへ保存される、アプリケーション + ユーザID + key でユニークとなる）

　　http://code.google.com/apis/opensocial/docs/0.7/reference/opensocial.DataRequest.html#newUpdatePersonAppDataRequest

・Activityが実装されつつある？（「○○さんが××をしました」みたいな通知API）

・環境情報が追加（実行中の画面やドメインが取れる、ホーム画面・プロフィール画面・専用画面、orkut.com・myspace.com）

・ネームスペース変更多数（gadgets）

他色々と。

外部サイトへのHTTPリクエストを行う makeRequest API がなかなか使い所ありそうなので、これを今回は試す。あとデータストレージも試してみよう。

ということで、無理矢理っぽいけど「OpenIDへのログイン→ログイン履歴保存」という流れで実験。

ちなみに、外部HTTPリクエストを行う makeRequest APIの仕様は、プロクシを経由することでクロスドメインAjaxが可能、といった代物で以下のようにリクエストが飛ぶ

　クライアント＞プロクシ（proxy.myspace.com等）＞外部サイト

意外に細かい部分で気が利いていて、任意のヘッダが設定可能 & 任意のメソッドが設定可能（GET/ POST / PUT / DELETE）

Basic認証や無理矢理やれば WSSE認証も多分できそう。AtomPubクライアント in OpenSocialなんてのも面白そう。

MySpace Developer Platform

OpenSocial仕様外の部分で、MySpace独自API（ユーザの投稿写真・ビデオ等）もあり、リファレンスはこちら

MySpace Developer Platform

この辺りも将来的にはOpenSocial APIとして足並みそろえていくのかな。

個人的に写真・ビデオ・音楽といった一般的な情報はOpenSocialに含めてＯＫじゃないかと思う。逆に、株取引SNSの「注目の銘柄」や競馬SNSの「最近買った馬券」なんてサービスのドメインにべったり寄った情報は独自APIという方向に進む、のかな。線引きが難しい。

また、MySpaceとOpenSocialの関係については

OpenSocialとかどうよ？的な勉強会(!?)に参加してきた - Tender Surrender

こちらが、アプリケーション互換性の問題からマネタイズまで、判りやすくまとめられているので参考に。

MySpaceデベロッパー登録＞アプリケーション作成

実際にMySpace上でアプリケーションを作成するには、デベロッパーとして登録する必要があるので登録。この辺り、登録から初めてのアプリケーション作成まで、こちらのサイトで分かり易くままとめられている

MySpaceアプリケーションを作ろう - ラーニング人生

この手順に従ってやれば簡単にできる、筈。

実装方針

・OpenIDの基本的な流れを実験する

　　・XRI や Yadis による探索は未実装

　　・関連付け（共有鍵の交換）は未実装

　　・OPから受け取った署名の照合も未実装・・

・処理フローはこんな感じで

　　・input （ユーザによるidentifierの入力）

　　・normalize（identifierの正規化）

　　・discovery（OP Endpoint URLの探索）

　　・association（共有鍵の交換）※未実装※

　　・authentication（認証リクエスト）

　　・response（認証結果のパース）

　　・verify（署名の確認）※未実装※

以上

それでは明日へ続く、次回は実装を

rsync + subversion + Amazon S3 = dropbox

2008-04-10

Google app engineのアカウントが申し込み間に合わなくてくやしいので、Dropboxについてでも書こう。　

rsync + Amazon S3 + subversion × 全自動 = dropbox

「気軽に複数PCでファイル共有できるオンラインストレージ」という触れ込みで登場したDropbox

Techcrunch - Dropbox: みんなが待ち望んでいたオンラインストレージソリューションかも

現在5GBまで無料のオンラインストレージで、実際のストレージにはAmazon S3を利用しているらしい。WindowsとMac用のクライントがあり、これが良くできていて

ファイルの変更を検知して全自動でオンラインストレージへ保存し続けてくれる。しかもソース管理ツール的な履歴機能付き、編集の衝突も検知して上手く回避してくれる。

さらに友人・知人と共有するSharedフォルダも作れてソーシャル的な展開も考えているみたい、試していないけど。

動作例

例えば、このフォルダへ

普通にメモ帳でテキストを保存する

ファイルが自動でオンラインストレージに同期される！

履歴管理・衝突回避・その他

プログラマならこの辺が気になるだろうと思うので補足。

履歴機能もしっかりしている、普通に個人で書くコードくらいなら履歴管理まかせても良いくらい

さあここで大変！自宅と会社で編集したファイルが衝突した！！

衝突したファイルはリネームされて保存される。上書きされて消えた！ってことは起こらない。まあ現実的な対応かな、しいていうなら「衝突ファイル一覧」を見たいくらいかな、RSSとかで。

あと基本的にインストール後現れる「Dropbox」フォルダ以下が同期される、でもどうせならホームフォルダ辺りをこのDropbox以下にシンボリックリンクでリンクさせとくと超快適

　・Windowsの場合 : file link -symbolic リンク先リンク元

　・Macの場合： ln -s リンク元リンク先

Macは普通だけど、Windowsにシンボリックリンクがあるのをこの件で調べて知った・・

Dropbox本当に細かい部分で気が利いていて良い、しかも何気に感動したのが全くストレスが無いこと。

今まで、WebDAVで複数PCを同期、なんて方法も試したけどどうも書き込み＆読み込みが遅くストレスになって結局やめた。Box.net とか。

でもDropboxの場合、ユーザはローカルのHDDを普通に読み書きする、その後バックグラウンドでゆっくり同期を行っているんだ思う。

あくまでも我々はローカルHDDを読み書きするので、本当に存在を忘れるくらい快適。

ローカルHDDをキャッシュに使う、という発想はWebDAVになかったんだな、まあWebプロトコルのWebDAVとクライアントアプリケーションのDropboxでは性質が全く違うので当然なんだけど。

全データをオンラインに保存する時代になると、ローカルHDDは只のキャッシュになるんだなと思う。

全データをオンラインに保存する時代＝「アクセス権限制御」の時代

「データをブログに書く」じゃなくて、「もうウェブにはのってて、パブにするかどうか決めるだけで情報は出る」べきだと思っていた。この「パブにするインターフェイス」みたいなものが効率化すればいいと。このためには文字列一致検索なり、属性絞込みなりについて、最高のインターフェイスがあって、筋肉運動くらい自由で詳細に（あるいはペンとか本のページをくくるくらい自由に詳細に）権限管理ができるべきだった。

ウェブ3時代は「アクセス権限制御」の時代だと思えてきた - tokubo.com

以前この↑文章を読んで、色々考えていた世界がDropboxで実現しそうな感じ。実際は5GBなんてちんけな容量なので「世界の片鱗が見えた」くらいだけどそれでも大きな進歩だ。

自分の書いたテキスト、写真、楽曲、メール、ソースコード、コンフィグファイル、ブックマーク、ブラウザの履歴、コンピュータの操作履歴、、、全部オンラインストレージへ同期されていて

API経由で自由に加工可能な世界がきっと来る。

実際、@ITでのDropbox開発者へのインタビューでもAPIの話が出ていて

同社は現在すでにいくつかのオンラインサービス提供者と協力して、DropboxをWebアプリケーションから利用できるようAPIを整備している。となれば、例えばデジカメの写真をFlickrにアップロードするのに、Webブラウザや専用アプリケーションを用いる必要はなくなり、ふつうにフォルダにファイルをコピーするだけで、写真を公開できるようになる。逆に、Flickrにアップロードしたファイルを、ローカルのPCの画像編集ソフトを使ってダイレクトに編集ができるようになる。

http://www.atmarkit.co.jp/news/200704/09/dropbox.html

写真は全てオンラインに載ってて、あとは共有したい写真・フォルダを選びFlickrへ権限を与えるだけでデータがFlickrへ流れ・同期され公開される。「自分は全てFlickrで公開する」なんて人は全権限Flickrに与えるんだろう。

または編集したい写真はPicnik（オンライン写真編集サービス）で編集する。Picnikに権限を与えて自動処理・一括処理も可能だろう。これはBox.netとPicnikで既に実現されている

ほかのサービスとくっつけられるストレージサービスOpenBoxを自分でくっつける - bits and bytes

Dropboxで写真をオンラインと同期し、APIが用意されていれば

・Flickrに権限を与え写真共有

・Evernoteに権限を与えておくことで画像検索

・Picnikに権限を与え写真編集

・基本のフロントエンドは今まで通りのアプリケーションでＯＫ（ iPhoto とか）

・ローカルHDDがキャッシュしているのでレスポンスもＯＫ

音楽なら

・Muxtapeに権限を与え、ミックステープ化＆音楽共有

・オンライン楽曲編集サービスに権限を与える

・楽曲検索サービスに権限を与える

・基本のフロントエンドは今まで通りのアプリケーションでOK（ iTunesとか）

テキストならさらに色々な二次加工・二次利用が可能だろう。

個人のライフログは全てオンラインに存在して、色々なサービスへ権限を与えることで過激に面白く加工してくれるんだろう、ブラウザのアクセス履歴はPathtraqへ、IMEの変換履歴はSocial IMEへ。

さらに、DropboxはWebDAVと違ってユーザを待たせない、というかシンボリックリンクや同期の設定等を済ませれば

普通に生活しているだけでオンラインストレージとデータが保存されている。あとはそれを見たい人 or 加工したいWebサービスへ権限を与えておくだけだ。

基本的にユーザの時間を邪魔しない、これは重要だと思う。

インターネットでどんなサービスを使うにしても、時間をかけないではできない。だからユーザが新しいサービスを使いはじめるには、今まで使っていた何かを止めないといけないし(自分はtumblrのdashboardをみはじめてdiggを見るのを止めた)、今使っているサービスを、新しいサービスを使うために使わなくなったりする(twitterをつかいはじめてmixiをやめた、とか)。

ゼロオーバーヘッド・ブロギングの時代

この話を見てから、悶々と考えていたゼロオーバーヘッドなサービス、Dropboxは何気に満たしているなと思う

今までもFTPを使ってファイルをサーバへアップロードすればオンラインストレージへ溜めておくことはできた、WebDAVでも良いけど、でも「全ファイル」するのはコストがかかりすぎてできなかったし誰もやろうと思わなかった。cronやスケジューラとスクリプトを頑張って書けば全自動も可能だろう、でもその手間は一般人にとって相当なコストだ。

でも現実に、近い将来全データをオンラインストレージへ保存することは可能になりつつある、これはAmazon S3でストレージ容量が劇的に下がったのも大きいだろうし、その土台はHDDやメモリ・CPUのチープ革命が支えてるんだろう。

画像検索サービスEvernote

2008-03-16

ベータ中のOCRサービスEvernote ↓

Evernoteで自分の脳を拡張する（プライベートベータご招待）

のベータサービスアカウントが届いたので試してみた。サインアップページから本登録

CAPTCHAがある。。。

さっそく試してみよう、Evernoteのスキャン力とCAPTCHA、どっちが上か？

一文字目 "b" は認識

二文字 "b8" は無理。。：(

もう少し弱いCAPTCHAなら解けるかも、ってところか。色々試してみたけど、なかなか性能良い印象。

あとメールに写真を添付して投稿もできる。日本語は未対応ぽい。

ここから登録して、二週間待ちくらいでアカウント届いた。

で、関係ないけど最近読んだ本の話を少し

"しあわせの理由 (ハヤカワ文庫SF)" (グレッグイーガン)

「しあわせの理由」はグレッグイーガンの短編集で、中身も面白かったけど文末の解説が面白かった。

　円周率というものを完全に記述するのに無限のメモリーが絶対必要かというとそんなことはない。「無限のメモリーさえあれば、無限に計算を続けられる円周率計算のプログラム」は実は有限のメモリーに収められるからだ。「つまりこのプログラムで計算した数」と定義することで、本来無限のメモリーの必要な情報を、有限の情報のみで完全に記述できてしまう。

・・・・・・・

　ついでにもっと妙なことを考えてみよう、０から９までの数字とAからZまでの英大文字、それにスペースや記号であわせて四十文字ぐらいあれば英語の文章が作れる。この文字に二桁の背番号を振る。０は「00」、9は「09」でAは「10」、スペースは「36」という具合だ。円周率は数字がバラバラに並んでいて無限に続くのだから、その中には何兆桁目かもれないが、どこかに
「0200010009010136201022182010351436233436322912」

と続いている部分が必ずあるはずだ。この数字列を上の背番号表で解読すると

「20010911 KAMIKAZE NY WTC」

となる。すごいでしょ。この調子でいけば、いままでの人類の過去から未来までの悠久の歴史すべてを円周率の中に読み取ることができるだろう。たかだか有限のノストラダムスの詩文の中から無理してこじつけるより、はるかに確実な無限の大予言・それが有限のプログラムから生み出される。
（坂村健）

と、そこから「円周率に意味を見いだすのは、見ている自分自身」という話から、イーガンの作品解説に繋がっていく（確かに順列都市なんてこの話そのもの）で、これはこれで面白かった。でも、その後に偶然読んだこれ ↓

"伝奇集 (岩波文庫)" (J.L. ボルヘス)

の中の「バベルの図書館」この解説はネットに山ほど転がっていると思うので、乱暴に要約すると「無限の広さを持ち無限の本数の蔵書がある図書館」の話で、その中でも全く同じテーマが語られていて

ある天才的な司書が図書館の基本的な法則を発見した。この思想家のいうには、いかに多種多様であっても、全ての本は行間、ピリオド、コンマ、アルファベットの二十五字という、おなじ要素からなっていた。また彼は、全ての旅行者が確認するに至ったある事実を指摘した。

広大な図書館に、同じ本は二冊ない。彼はこの反論の余地のない前提から、図書館は全体的なもので、その書棚は二十数個の記号のあらゆる可能な組み合わせを、換言すれば、あらゆる言語で表現可能なもののいっさいをふくんでいると推論した。

思い返せば、昔読んだ「砂の本」も全く同じテーマだったのに、当時は気付かなかった。無限に続く本や図書館（や数字）があるとして、その中には人類の、過去全ての歴史だけでなく未来の出来事も全て書いてあるのか・・・「3/15 ブログでボルヘスについて書く」という文章も確実に書いてある！

で、その無限の知識を持つ「砂の本」でも「バベルの図書館」でも、結局人間は何もできずに翻弄されるだけってのが面白いな。「砂の本」も「バベルの図書館」にも索引（インデックス）が無くて、結局人間が扱えるものじゃなかった。

逆に言うともし「砂の本」に索引が付いてたり、「バベルの図書館」に全てを理解した司書（文中では「書物の人」と表現されている）がいれば、無限の知識を人間が利用することができる。「書物の人」は文中では

他のすべての本の鍵であり完全な要約である一冊の本が存在し、ある司書がそれを読みとおし、神に似た存在となった。

と表現されている。無限の情報を持つ「バベルの図書館」よりも、その要約である一冊の本の方に価値がある。

これ、Web上に無限に近い情報があっても Google が持つ索引（インデックス）を使って要約を提供してくれないと、上手く活用することができない。ってのに通じるし、AutoPagerizeやLDRizeが広まったことでメタデータの重要性が高まってきているのにも通じると感じた。無限のデータもメタデータがあって初めて価値がでる。

無理矢理話を最初のEvernoteに戻すと、、Evernoteの技術は面白いし凄い。ただ個人が持ってる少量のデータなんて大したことないんだから、Web全体の画像を対象にしてメタデータを付けてくれたら面白いな。

これ、半年後になってみたら、EvernoteがGoogleに買収されててGoogle Image searchとして実現されてたりして。

デブサミ2008 - 「言語の現在・過去・未来を語る」メモ

2008-02-29

今週、developer summit 2008に行ってきたのでメモ。

ネットコミュニケーション 2.0 が面白かったけど、これのレポートは山ほど見かけるので

言語の現在・過去・未来 - まつもとゆきひろ・波村大悟このセッションのメモを残しておきます。

その他、見つけた範囲では

・ C# についてのまとめは、こちらが詳しい【13-B-7】言語の現在・過去・未来を語る』話題メモ - C# side - NyaRuRuの日記

・ Matz日記　デブサミ2008 1日め (ディープな1日)

言語の現在・過去・未来を語る

<<自己紹介>>

まつもとゆきひろ（以下：ま）
15年前から趣味でRubyを開発、現在は本業へ

波村大悟（以下：波）
MS US本社でC#開発、テストリード。C# 開発の初期から参加

<<Ruby, C#の開発体制>>

波：

・Develop team（実装）, Test team（テスト）, Design team（言語デザイン）の三チームとPM、と「C#の父」アンダース。合計約20人くらい？

・Test teamとDevelop teamの違いは、５つある機能のうち「一つでも動けばPerfectly！と言うのがDevelop team」「一つでも動かないとダメ！と言うのがTest team」

　＞Test teamも開発に関わる（？）

・週三回のデザインMtg

・ユーザ＆一般開発者の要望を取り込みつつ、最後はアンダースが設計を決める。　＞「マクロが欲しい」は良く上がってくるが大抵アンダースが却下（笑

ま：

・日本語／英語のML (ruby-dev) でコミュニケーション・「こんな機能よくない？」「じゃあ入れよう」

・柔軟、反面だれもやりたがらない機能はなかなか実装されない

<<非互換性 => 言語の進化>>

波：

・C#は結構大きく変化している

　＞ジェネリクスは C# 1.0 の開発＆リリースと平行して開発された、C# 2.0としてリリースする前に丸ごと書き直されたけど。かなり大きな変化

・言語が大きくVerアップして進化するとき、非互換性が問題になりやすい。

　＞MSのサポート規模を考えると、非互換性はまずい（10年は機能を保証。機能の削除できない）

・Rubyはどうか？

ま：

・そんなに気にしない、そろそろ1.9で「ぎゃ！」と皆に言ってもらわないと (笑

・オープンソースコミュニティは鮫、開発が止まると死ぬ。常に進化し続けることがオープンソースコミュニティを駆動する。

・駄目な部分は直す。

波：

・C#にも直したい設計はある。使う前から完璧な設計は難しい。（nullの扱い、voidの扱い）

・言語は言語設計者の想像しない所で、思わぬ使い方をされる。非互換性は意外な部分で出る（イテレータのMSIL（中間言語）コードを変更しただで苦情がきた）

ま：

・Rubyも開発当初はWebなんてなかった、ましてRailsなんて想像のしようがない。（言語は設計者の想像しない範囲で使われる）

・PowerPointは「プレゼンテーション」しかできない、プログラミング言語は「何でも」できてしまう。範囲が広い。

・範囲が広いから15年続いたのかも

波：15年は凄い、モチベーションの維持は？

ま：

・常に新しいテーマが生まれてくる

　＞Hello worldを表示するのに半年（IOクラス作って、Stringクラス作って、、）

　＞GCに手を付けて一年

・JavaとRubyは実は同じ年

波：

・そのJavaも最近では動的型付言語によってきている

・アンダースも最近は「RubyにできてC#にできないわけがない！Rubyのこの機能を取り込め！」と言っている（笑

　＞動的型付とメタプログラミング

　＞暗黙的型付け、型宣言を var で（　var x = new X();　）

　　＞C# 1.0の頃から可能だったが、スクリプト言語と間違われるのが嫌でやめた

　　＞当時はスクリプト言語の地位が低かった

ま：

C#はコンパイル時に実現しているので大変そう、でも開発環境でエディタの補完等はやりやすい

波：

CodeGearが Ruby & Rails のコード補完をやっているが、あれはランタイムを実行？

ま：

・多分そう、エディタの裏でRubyランタイムを実行している。

・C#も6.0 くらいではタイプリファレンスで凄いことに（？・・聞き取れず）

波：丁度今考えているとこ・・・・

<< LINQ >>

ま：LINQのクエリ式は思い切った変更だと思う

波：あの構文を正式に決定するのに相当時間がかかった

（例を出す）

var hoge = from x in Products

　　　　　where x.ID == 100

　　　　　select x;

ま：

・言語設計者的には入れたくない。よくアンダースが許した（笑

・HaskleやPythonのリスト内包表現を真似るなら from より for では？

波：

・「俺の言語を汚すな」と言っていた（笑、最初一年は反対していた

・from ではなく当初は foreach文を拡張することも検討した

　foreach(var x in Products) . where x.ID == 1

・RailsのO/Rマッピングも凄い、テーブル定義からマッピングをダイナミックにやっていて驚いた

・LINQは一人のエンジニアが実装を担当している

　・凄い、機械みたいなやつ

　・急に静かになったと思ったら、大量のコードを一気にコミットしてた（笑

<<RubyにLINQ>>

ま：

・（ブロックとメソッドのチェーンでやると？）パフォーマンスが問題

・Rubyの構文木をCで取り出してSQLにしている連中がいた（笑、パフォーマンスも問題ないと言っていた

　>> 多分これ？ http://www.infoq.com/jp/news/2007/10/data-query-with-ambition

<<言語設計の醍醐味>>

ま：言語でどうやって表現するか？言語は人間の考えに影響を与える

波：できなかったことを可能にする。機械語でも理論上できるはずだが現実には高級言語でないと不可能なことがある

<<Ruby & C# のうらやましいところ>>

ま：膨大なリソース（Microsoft）を使って開発できることがうらやましい。

波：オープンソースのフレキシブルさがうらやましい。Microsoftではオープンソースへの参加も難しい

On Lisp「22章非決定性」をRubyで試してみる

2008-02-07

"On Lisp―Advanced Techniques for Common Lisp" (Paul Graham)

を読んだ。

・Lispの基礎から、マクロ、遅延評価、Schemeと継続、継続をCommonLispで実装して、継続を使った非決定的アルゴリズムの実装、Prolog

初めて関数型プログラミング、というかLispを勉強した身にとっては全編興味深い、特に22章の「非決定性」が面白かった。

On Lisp - 非決定性

非決定的アルゴリズムはある意味では超自然的な予見に基づいて動作するものだ．超能力を持ったコンピュータに触れることのない私達に，どうしてそんなものが必要なのだろうか？\ それは非決定的アルゴリズムを決定的アルゴリズムでシミュレートできるからだ．純粋に関数的なプログラム ---すなわち副作用の一切ないもの--- では，非決定性は特に直截的になる．純粋に関数的なプログラムでは非決定性はバックトラックを用いた探索で実現できる．

バックトラックによる非決定性の実装例が紹介されてる、乱暴に言うと「複数の選択肢がある時、その時点の継続を保存しとりあえず一つの選択肢を選んで処理を続ける。成功すればOK、もし選択が失敗してた場合選択前の過去に戻って、別の選択肢を選んで処理を継続する」で良いのかな。

とりあえず理解のためにRubyで実装してみた。

class Nond
  def initialize
    @paths = []
  end

  def choose(choises)
    if choises.empty?
      failed
    else
      return callcc do |c|
        @paths.unshift(lambda{ c.call( choose(choises[1..choises.length]) ) })
        choises[0]
      end
    end
  end

  def failed
    if @paths.empty?
      raise "Can't find more choises."
    else
      @paths.shift.call
    end
  end
end

Ruby1.8 にも継続があるので、ほぼ本のまま。試してみる。

@nond = Nond.new

def parlor_trick(sum, firsts, secounds)
  first = @nond.choose(firsts)
  secound = @nond.choose(secounds)

  if sum == first + secound
    "The sum of #{first} #{secound}"
  else
    @nond.failed
  end
end

p parlor_trick(7, [1,2,3,4,5], [1,2,3,4])

二組の数字のリストから加算の結果が sum と等しい組み合わせを返す。

実行してみると確かに3と4で7になってる。

もう一例、今度は名前のリストから "Igor" を見つける

def igor(names)
  name = @nond.choose(names)
  if name=="Igor"
    p "Found Igor!"
  else
    @nond.failed
  end
end

p igor(["Yakov", "Yulli", "Raisa", "Iwan", "Igor", "Daniel", "Egor"])

肝の関数 choose と fail の実装を見れば納得できるけど、アプリケーションのコードだけを見るとまるで choose が超能力で正解を導き出したように見える、その実装も「失敗したら過去に戻ってやり直す」てのは凄いな。

この22章非決定性の発展で、24章ではLispの埋め込み言語としてPrologを実装してるけど、ここまでいくと正直理解があいまい。。また読み直そう

On Lisp - Prolog

Prolog面白そうだな、どこから勉強するのが良いんだろ。とっかかりとして。

Google Social Graph API と fooo.name

2008-02-04

Google Social Graph API

Googleが面白いAPIを出した、Web上にあるソーシャル情報に関するメタデータ（XFNとFOAF）をGoogleがクロールしてWebAPI化する Google Social Graph API

これに合わせて fooo.name の本人リンクにも、メタデータとして rel="me" を付けました（メタデータ的に "me" は意味が間違っている気もするけど）http://fooo.name/accounts/tkmr

これでfooo.nameが整えたデータもGoogle APIに反映されるかな。そういえば昔 fooo.nameでもXFN解析やろうかなと思ったけど「XFNなんてどうせ誰もつけてねえよ」と思って無視してた、でもこう見ると意外に面白いな。。

例えばTwitter、Twitterは "me" や "contact" というXFNのメタデータを埋め込んでいるので上手くソーシャルグラフが取れてる。

http://socialgraph-resources.googlecode.com/svn/trunk/samples/findcontacts.html?q=http%3A%2F%2Ftwitter.com%2Ftkmr

逆にXFNやFOAFを埋め込んでないサイトの関係は取れない、http://blog.tkmr.org/ と http://twitter.com/tkmr が "me" の関係なのは自分（や一部の人）は判るけどメタデータとしてマークアップしてないのでGoogleには判らない。まあ当然の話だけど。

メタデータ

Social Graph API に近い目的をもったfooo.name はSocial Graph API があれば要らないか？と考えると、fooo.nameは他人がメタデータを補完する、Social Graph APIは本人が書いたorシステムが書いたメタデータを集める。レイヤーの違いというポジションがあるかも。fooo.nameの利用者がカオスなWebにメタデータを補完してくれる。

Social Graph API はGoogleらしいアプローチで面白いし王道だと思う。でも現実的にWebの大部分にはメタデータが付いてないし、自分のサイトにリンクを貼るとき rel="me" を付ける人なんてネットユーザの1%にもすぎないと思う。

例えば、皆が "次のページ" へのリンクにメタデータ rel="next" を付けるとAutoPagerize（とOpera）で超快適にネットブラウジングできるけど、それを強制することはできないし、なかなかそう上手くもいかないので AutoPagerizeはWikiで各サイトのメタデータ（SITEINFO）を登録して人間が補完している。なんだかんだで microformats が本当に世界中で整備されるのは、Web 99.0 ぐらいまで待つ必要があるのかなーと思う。ので今はある程度人間が補完する部分も必要なんじゃないかな；)

ちなみにこの辺、otsuneさんが「メタデータとしてxFolkを付けよう」と啓蒙活動をしてて偉いと思う。http://www.otsune.com/diary/2007/11/08/1.html#200711081

Googleと分散クローラ

結局、XFNやFOAFをクロールするだけなら、今回Googleは技術的に大した事やってないとも言える。まあ、それは冗談として；D

Googleは数億オーダーのデータを扱える、その量が凄い。数千台のサーバ群が常時動いててWebをクロールしまくってる、でクロールしたテラバイト級のデータをGFSなんかにガンガンぶちこんで、MapReduceで数千台規模のサーバ群が解析する。想像だけどおおまかにこんな情報工場が24時間365日フル稼働してるんだと思う。十二分に凄い。

これと同じことを個人でやるのは余りにもつらい、、のでオープンな分散Webクローラがあれば面白いのかなと最近思う。常時Webをクロールし続けるサーバ群のP2Pネットワークがあって、URLのドメインとかをキーにして分散ハッシュテーブル的に目的のピアを探索する、とか。XPathで //a[@rel="me"] とクエリーを投げるとマッチするページを返す、とか。

- *.user.jsというファイル名

- @include http://example.com/* という文字列が含まれる

ページを探すクエリーを投げる事ができれば、http://example.com 向けのGreasemonkeyスクリプトのリストを取れる。とか色々できそう。

「ネットに繋がってないパソコンただの箱」じゃないけど、Webにある情報だけで十分相当な事ができる。ちょうど今日クリップボードをWebで共有するサービス ControlC というのを見つけて登録してみた。Win/Mac/Linux 用のネイティブアプリをインストールして、Ctrl+C するだけでWebにアップされるというサービスで「これは面白い！」と思ったけど、いざPCの中を探してもこれといってクリップしたい情報がない。しかたないのでWeb上のページをクリップ試してみたんだけど、これならTumblr + Tomblooで十分だった；D

続々と情報にURLが付いてWebに繋がってきている、あとはWebから目的のデータを取り出すクエリーを変えるだけで相当色々な可能性があるのに、現状それを自由にできるのはGoogleだけでまだまだ試し尽くされていないってのはもったいない。

そういえば分散型クローラと言えば「buzztterの裏側で動いているTwitter用クローラが、Twitterのトラフィックが膨大で大変。分散クローラを作りたい」という話も見た事がある

[buzztter]buzztterの裏側とその周辺技術

twitterのデータをキャッシュしてインデックスし続けるサーバ群がいれば、今盛り上がっているキーワードを抽出するクエリー (buzztter) 以外にも、場所／時間で抽出するクエリ、@名前で行われるコミュニケーションの流れを抽出するクエリ、、まだまだ色々な切り出し方を試せると思う。

Googleもきっと内部では、Webクローラが収集した一次データは各サービスで共有して、メインの検索用に加工した二次データ／イメージ検索用の二次データ／Social Graph API用の二次データ・・・とそれぞれ加工してる、んだと思う。極論すれば

- イメージ検索 - //img

- Social Graph API - //a[@rel="me"]

と膨大な一次データからそれぞれ違うクエリーで切り出している、と言えなくもない。かも。

[rails plugin] javascript_test - script.aculo.usのunittest.jsでTDD&BDD

2008-01-06

via Dr Nic - Autotesting Javascript in Rails

script.aculo.usのunittest.jsを使ったRailsプラグインの javascript_test なかなか良さそう。generatorでテストのひな形作成、auto_testに対応してくれる。unittest.js単体もBDD的な記述、ベンチマーク、辺りが良い。

#インストール
ruby script/plugin install javascript_test
mkdir test/javascript
ln -s vendor/plugins/javascript_test/assets/ test/javascript/assets

#テスト作成
ruby script/generate javascript_test hoge
> create test/javascript/hoge_test.html
> create public/javascripts/hoge.js

#テスト書いて
# test/javascript/hoge_test.html
testTruth: function() {with(this) {
  assertEqual(X, "hoge");
}}

#実際のjsコード
# public/javascripts/hoge.js
X = "hoge";

#テスト実行
rake test:javascripts

手元のMacだとSafariとFireFoxが自動で立ち上がって、テスト結果が表示される筈

BDD的に書きたくても大丈夫。String, Array, Number辺りの基本クラスを拡張して、shouldEqualみたいなメソッドを追加してくれる。

Test.context("BDD-style testing",{
  "setup": function(){
    console.log("Now setup!!");
    hoge = "Test";
  },
  "teardown": function(){
    console.log("Now teardown!!");
  },
  "should automatically add methods to strings": function(){
    hoge.shouldEqual("Test");
    hoge.shouldNotEqual("HoHoHo");
    hoge.shouldNotBeNull();
    hoge.shouldBeA(String);
    hoge.shouldNotBeA(Number);
  }
});

unittest.jsについて、詳細はこちらのサイトが詳しい。

script.aculo.usのUnitTestの使い方前編 - Yak blog

script.aculo.us付属のユニットテスト(unittest.js)の使い方後編 - Yak blog

2008年書き初め

2008-01-06

今年の書き初めはJavaScripでSchemeっぽい物、70行くらいで書き捨て。置く所が無かったのでAppJetに置いた。

http://tk-scheme.appjet.net/

AppJetは第三者の書いたコードを気軽に読み込み&実行できるのが良いな、eval(wget("http://hogehoge"))とか。最悪悪いコードが入って来ても困るのはappjet.netだし；D

"第三者のコードを気軽に実行できる" ってことで何か面白いことができないかな。

例えば、GoogleのMapReduceを独自にオープン／分散／P2Pで実現しようと思うと、まずネックなのが（色々あるけど）実行ロジックをworkerへ送り込む方法だと思う。

GoogleのMapReduceをいまさら妄想した - YappoLogs

実際問題としてオレオレでMapReduce作る時に考える事は、データとコードを各worker serverに送る仕組みを真っ先に考えなければいけない。単純にjobを分散出来た所で、それはMQとかに毛が生えた程度の面白さしかないから

worker群がいて、そこへロジックと処理すべきデータを送り込む。データは良い、でもロジックはセキュリティとパフォーマンスの懸念が常にあって "絶対安全" というのが難しい、と思ってたけど実際こうやってAppJetが動いているのをみると、何とかなるかなと思ってくる。AppJetの場合サーバサイドJavaScriptを多分Rhinoとかで動かしてると思うんだけど、パフォーマンスのチェックとかはどうやってるんだ。

TechCrunch Japanese - AppJet、シンプルなウェブアプリ制作を簡単に

世界中のPCの空きCPUを有効利用するのに、SETI@homeも面白いと思うけどオープンなMapReduceをやると面白いと思うんだけどな。今後放っといても絶対オープンにならない物だけに。

新入社員がグーグルの発想のスケールに慣れるまでに数カ月はかかるという。「ある日、誰かが、数千台のコンピューターを一斉にぶん回すような“ヤバイ”仕事を考えつく。すると“ヤツは分かってきたみたいだな”ということになる」

http://business.nikkeibp.co.jp/article/world/20071221/143754/

こんな面白そうな話、放っとくのは勿体ない。

で、あまり関係ないけどSchemeっぽい物を書き始めたけど、なんか違うな。Scheme on JavaScriptならもっとちゃんとしたのがあるし

BiwaScheme

なんだろ、(map 実行ロジックデータリスト) と書いてmapが並列に分散する様な。いっそこんな感じにJavaScriptの配列で良いんじゃないか

[scm.map, function(n){return n*n;}, [10, 20, 30, 40]]

上手くまとまんない、もうちょっと考えてみよう。

Railsプラグイン - ActiveJaxの密結合な実装にビックリ

2007-12-08

ActiveJaxというRailsプラグインを見つけた

ActiveJax - Simpltry Rails

「ActiveRecordのモデルをJavaScriptから叩ける」と書いてあり、RESTなWebAPIを叩くJesterの競合になりそうかな、と思ったら全然違った。

Jester-RESTfullなRails向けJavaScriptライブラリ

Jesterの場合はあくまでもRESTなWebAPIに向かって、それっぽいURLでアクセスする。Railsのscaffold resourceで作られたWebAPIを想定してるけど、細かくカスタムも可能で別にPerlでもPHPでもJava, C# 相手は何でも良い。

ActiveJaxの場合は、ActiveRecordモデルの構造を見て動的にJavaScriptを作成しちゃう。こんな感じ

#Model
def _active_jax_meta()
  @@active_jax_meta.values.each do |ajc|
    if ajc[:finders].empty?
      ajc[:finders] =  ajc[:class].public_methods.select { |m| m.match(/\Afind/)  }.reject { |m| ajc[:class].superclass.respond_to?(m) && !m.match(/\Afind\Z/) && !m.match(/\Afind_all\Z/) }
    end
  end
  @@active_jax_meta
end
#Controller
def js
  response.headers["Content-Type"] = "text/javascript"
  Dir.glob(File.join(RAILS_ROOT, "app", "models") + "/**/*.rb").each { |f| require f }
  Dir.glob(File.join(RAILS_ROOT, "app", "controllers") + "/**/*.rb").each { |f| require f }
end
#View  
<% ActiveRecord::Base._active_jax_meta.keys.each do |klass| -%>
  ActiveJax.<%= klass.name.to_s -%> = {};
  <% klass.active_jax_finders.each do |finder| -%>
    ActiveJax.<%= klass.name.to_s -%>.<%= finder -%> = ActiveJax.query_function("/active_jax/service", {klass: "<%= klass.name.to_s -%>", finder:"<%= finder -%>"});
  <% end -%>
<% end -%>

「俺はRailsさえあれば良い！ペロカパ！」って人はこれでも良いんだろうけど、なんだこれ。ある意味凄い、ビックリ。Jesterと比べるとこんな感じ

　・Jester = RESTfullなWebAPIを作ってくれれば、空気を読んでそれっぽいURIにアクセスするよ。カスタムも可能。サーバのことは知らない

　・ActiveJax = ActiveRecordのクラス名やメソッドを解析して、それっぽいJavaScriptのオブジェクトを出力するよ。ControllerやViewは自動生成するから気にしないで；)

みたいな。JesterみたいにWebAPIでサーバ & クライアントが分かれていると

　・クライアント= Jester以外のライブラリから叩く、API公開して色々叩いてもらう

　・サーバ = 重い機能をRails以外で書き直す

と粗結合になって色々おいしい事がある。例えばの話で、はてブWebAPI用に作ったJavaScriptのUIでdel.icio.usを叩けたりする、Tumblr用のツールでsoup.ioが叩けたりする。（WebAPIが似ていれば）

まあ明らかに書き捨てのWebアプリケーションとかなら、ActiveJax的な密結合も楽で良いけど。ちゃんとするなら、ちょっと面倒でも粗結合が良い、まあ当然の話で。

自由にアクセス制御可能なJavaScriptサンドボックスを作る

2007-12-06

追記：早速破られた！

 
safeCall("var w=(function(){return this;}).call();w.alert(w.document.cookie);");
id:kazuhooku - http://b.hatena.ne.jp/kazuhooku/20071206#bookmark-6709542

サイ本よく見ると確かに「オブジェクトのメソッドとして呼び出された関数内でも、入れ子にされた関数内のthisはグローバルオブジェクトを参照します」て書いてあった。あとMDCにも http://developer.mozilla.org/ja/docs/Core_JavaScript_1.5_Reference:Operators:Special_Operators:this_Operator

=========

面白い記事があった、GreasemonkeyのunsafeWindowを安全にすることは可能か

[JavaScript] GM_xmlhttpRequestを使えなくする - 実用
 GM評価のsandbox - ゼロメムはてな支店

この記事はGreasemonkeyのunsafeWindowについて（GM実行中サイトが悪意を持っていた場合 or XSSの穴が合った場合対策）だけど自分もちょうど、JavaScriptを安全に実行する方法が無いか考えていたので、ここに書いてみる。まず目的は

・自サイト上でユーザにJavaScriptを（限定的に）許可したい

例えば、はてなダイアリー等でユーザがブログパーツを張れるよう許可するとか。但し
・document.cookie等、危険な機能は操作不能にする
・あくまでサイト上でJSを許可する（iframeは不可）

で、幾つか考えられるのが以下。

・iframe内で実行
iframeを生成して、そのwindowの中で実行させる。これなら確実に安全なサンドボックスが用意できそうだなと思うけど、今回はスルー

・Facebookアプローチ（変数・関数名にプレフィックスを付けて無害化）
Facebookがユーザに許可するJSでは、変数・関数名にプレフィックスを付けて無害化するらしい
[Facebook] FBJSでFacebookアプリ内でJavaScriptを利用 - Kawa.netブログ（川崎有亮）
面白いな、とも思うけど無害化するロジックに穴があるとセキュリティホールになりそうな気がする。

で、色々調べていて一つ思ったんだけど、こんなのどうだろう

function safeCall(users_code){
  var sandbox = {
    window: null,
    document: null,
    alert: null
  };
  with(sandbox){
    console.log(eval(users_code));
  }
}

これならsandboxオブジェクト内に列挙したwindow, document, alert,,,等は、無効化してevalできる筈

確かに列挙したオブジェクトはnullになる、逆に許可したいオブジェクトは含めなければ良い筈。Sandbox.myDocument.myGetElementByIdみたいに許可するネームスペース／クラスを決めてそれを叩いて貰えば制御可能になるかな。と思ったけど、deleteでプロパティ削除されると意味ない

じゃあvarで宣言すればどうだろ？

function sandbox(){
  var window = null;
  var document = null;
  var alert = null;
  this.do = function(code){
    with(this){
      console.log(eval(code));
    }
  }
}

原則varで宣言した変数はdelete不可能な筈、これで一応大丈夫？

どうだろ、やっぱり抜け穴がある気がしてならない。。あと、実際にはwindowのプロパティを列挙する必要がある。

で実際に運用する時は、無害なタグとして記述して貰ってsandbox経由に実行すれば良いかな。今流行の俺俺スクリプト風に

<script type="text/my-safe-javascript">
  alert("Hello world from sandbox!!");
</script>

とか書いて貰って、ページ起動時に //script[@type="text/my-safe-javascript"] な要素を探してsandbox経由で実行みたいな。//script[@type="text/javascript"] はサーバ側のフィルタで潰す

うーん、どうだろ？やっぱ何か抜けがあるかな、ある気がする。きっとあるな。

Google OpenSocial API - mixiに期待しつつJavaScript Gadgetを試す

2007-11-05

sandbox.orkut.com のアカウントが使えるようになったので、GoogleのOpenSocial APIを試してみた。OpenSocial Protocolについて詳細はこちらのサイトが詳しいようです

OpenSocial Protocol - たけまる

このブログに書いてある通り、OpenSocial Protocolは

クライアント用のJavaScript API
サーバ用のOpenSocial Data API

の２種類があって、サーバ側 OpenSocial Data APIの実装はまだ無いみたい。ということで今回試したのはJavaScriptクライアントの方。ドキュメントへ書いてある通り、Orkut上で試してみる。あとこのドキュメントを開いとく

OpenSocial API Developer's Guide

sandbox.orkut.comへ登録

http://code.google.com/support/opensocialsignup/ から登録、数時間でメールが届いた。普通のwww.orkut.comとデータの互換性はある、唯一アプリケーションがsandboxでしか有効にならない。

Google Gadgets Editor

便利なので Google Gadgets Editorを利用する。

http://code.google.com/apis/gadgets/docs/gs.html#Scratchpad で自分のiGoogleホームに追加しておくと便利かも。自分のサーバがあれば、そこにXMLを置くだけでもOK。

デフォルトのHello worldアプリで試してみた、右のhello.xmlのリンクURLをコピー。http://sandbox.orkut.com/MyApps.aspx を開いて「Add an application by URL：」へ張り付けて「add application」を実行。プロフィールを表示して「Hello, world!」が表示されればOK

OpenSocialAPIを叩く

まず試しということで「OpenSocial APIから自分（Owner）の情報を取ってプロフィールURLを見つける、そのURLをfooo.nameから検索して結果を画面に表示」をやってみた。

//自分の情報を取得
var req = opensocial.newDataRequest();
req.add(req.newFetchPersonRequest('OWNER'), 'owner');
req.send(onLoadFriends);

複数件の情報取得を一度のリクエストでまとめて取ることを想定しているらしい。他にも色々とある http://code.google.com/apis/opensocial/docs/javascript/reference/opensocial.DataRequest.html

で、結果をコールバック関数のonLoadFriendsで処理する。ちなみにOwnerなのにonLoadFriendsという名前なのはサンプルコードをコピッてるから：）

var owner = dataResponse.get('owner').getData();
var url = owner.getField(opensocial.Person.Field.PROFILE_URL);

指定したキー（owner）でPersonオブジェクトを取得、この仕様に従って情報を抜き出す、今回はプロファイルURLを取った。あとはいつも通りJavaScriptで書けばOK

OrkutのプロファイルURLからfooo.nameで検索、結果を表示。自分の持ってる他のページ一覧が表示されている。本当は「フレンドの〜」てのがSNSぽくて面白いと思ったけど、Orkutのフレンドがいないのでできなかった：(

やってみて特別難しいことは無い、このパーツも結局IFrameで動くので普段通りJavaScriptで作ればOK、Google Gadgets作った経験のある人はさらに楽なのかも。作ったパーツがMySpace／mixi／VOX?／Friendster なんかで汎用的に動くのは良い。ただ今現在だと「OrkutでGoogle gadgetsが動く」という状況と変わらないのであんまり面白くないな、まずはmixiの対応に期待かも。

最初 GoogleがMySpaceがFacebookが、という話を聞いてる時点では割とどうでも良かったけど、mixiが参加するなら日本としても面白くなりそう。

適当だけど一応書いたコードこれ ↓ 途中PROFILE_URLが相対パスで「死ね」と思った、しかもパーツが動くドメインは変なドメインなので「相対パスを絶対パスに変換する」この手も使えなかった。http://www.orkut.comベタ書き、駄目だなー

<?xml version="1.0" encoding="UTF-8" ?>
<Module>
 <ModulePrefs title="Open Social Test">
   <Require feature="opensocial-0.5"/>
 </ModulePrefs>
 <Content type="html">
 <![CDATA[
 <script type="text/javascript">
  function getData() {
    var req = opensocial.newDataRequest();
    req.add(req.newFetchPersonRequest('OWNER'), 'owner');
    req.send(onLoadFriends);
  }
  function onLoadFriends(dataResponse) {
    var owner = dataResponse.get('owner').getData();
    var url = owner.getField(opensocial.Person.Field.PROFILE_URL);
    url = absolutePath(url);
    insertScript("http://fooo.name/tako3/json/likely/"+url);
  }
  function tako3(res){
    var output = "";
    for(var i=0; i < res.length; i++){
      output += "<li>"+res[i]+"</li>";
    }
    document.getElementById("foooList").innerHTML += "<ul>"+output+"</ul>";
  }
  function insertScript(url){
    var script = document.createElement('script');
    script.type = 'text/javascript';
    script.src = url;
    document.body.appendChild(script);
  }
  function absolutePath(path){
    return "http://www.orkut.com"+path;
  }
  _IG_RegisterOnloadHandler(getData);
  </script>
  <div id="foooList"> </div>
  ]]>
  </Content>
</Module>

TKMR.blog

MySpaceでOpenSocialアプリケーション "OpenIDクライアント" ー (3)

association（共有鍵の交換）

共有鍵のキャッシュ -> OpenSocial汎用データストレージ

以上

Railsホスティングサービスheroku.comとソース管理Git

Gitとherokuクライアントのインストール

テストアプリケーション作成

編集、コミット、デプロイ

以上

muninプラグインでRailsの処理時間をモニタリング&監視

muninのインストール

Railsのログをmuninでモニタリング

以上

MySpaceでOpenSocialアプリケーション "OpenIDクライアント" を試す ー (2)

input（入力）

normalize（正規化）

discovery（探索）

正規化後、Identifier（例：http://tkmr.myopenid.com ）からOPエンドポイントURL（例：http://myopenid.com/server ）を知る必要があり、その探索方法として下記の３種類がある

HTMLベース探索の実装

おまけ：Yadis探索を実装

MySpaceでOpenSocialアプリケーション "OpenIDクライアント" を試す ー (1)

OpenSocial ver 0.7

Ver 0.7変更点

MySpace Developer Platform

MySpaceデベロッパー登録 ＞ アプリケーション作成

実装方針

以上

rsync + subversion + Amazon S3 = dropbox

rsync + Amazon S3 + subversion × 全自動 = dropbox

動作例

履歴管理・衝突回避・その他

全データをオンラインに保存する時代 ＝「アクセス権限制御」の時代

画像検索サービスEvernote

デブサミ2008 - 「言語の現在・過去・未来を語る」メモ

言語の現在・過去・未来を語る

On Lisp「22章 非決定性」をRubyで試してみる

Google Social Graph API と fooo.name

Google Social Graph API

メタデータ

[rails plugin] javascript_test - script.aculo.usのunittest.jsでTDD&BDD

2008年書き初め

Railsプラグイン - ActiveJaxの密結合な実装にビックリ

自由にアクセス制御可能なJavaScriptサンドボックスを作る

Google OpenSocial API - mixiに期待しつつJavaScript Gadgetを試す

sandbox.orkut.comへ登録

Google Gadgets Editor

OpenSocialAPIを叩く

MySpaceでOpenSocialアプリケーション "OpenIDクライアント" を試すー (2)

MySpaceでOpenSocialアプリケーション "OpenIDクライアント" を試すー (1)

MySpaceデベロッパー登録＞アプリケーション作成

全データをオンラインに保存する時代＝「アクセス権限制御」の時代

On Lisp「22章非決定性」をRubyで試してみる