2013-07-31から1日間の記事一覧
色々使ってみての感想 望んでいた機能はすべて持っていると感じましたのですが、業務で使う場合はいくつか気になるところもあります。 本当に排他ロックしているのか。 していると思うんですが、複数のworkerが1つのタスクを同時に行うとマズイです。 いつ…
複数サーバーでの立ち上げ 単純に同じソースコードをデプロイしておきます。 /etc/sysconfig/celerydのworker名を各サーバーで変えておきます。 各サーバーでcelerydを立ち上げflowerで確認すると、 ちゃんと2台のサーバー(worker01〜03と、04〜06)を認識…
ソース一式はコチラ https://github.com/dnond/celery_scraping 下準備 CeleryはSQLAlchemyをサポートしているので、インストールします。 # pip install SQLAlchemy あと、mysql本体もインストールしておく必要があります。 RESULT_BACKENDの設定 参考:htt…
Task Status 参考:http://docs.celeryproject.org/en/latest/userguide/tasks.html#states Celeryには、Taskの状態を示すStatusが定義されています。 成功時(success)・失敗時(failure)・再実行時(retry)のStatusには、Statusが変わった時に発火する…
ソース一式はコチラ https://github.com/dnond/celery_scraping タスクの実行確認 タスクを追加するコードです。 task_scrape.apply_async()でタスクを追加しています。 # -*- coding: utf-8 -*- import sys from MyApp import MyApp ## デフォルト値 target…
テストで作成したアプリは、スクレイピングを行い、titleタグの文字列を取得して来るものです。 PyQueryが必要なのでインストールしておきます。 # yum install libxml2-devel libxslt-devel # pip install pyquery ソース一式はコチラ https://github.com/d…
下準備 Redisのインストールと起動 # yum install -y redis # service redis start pythonのredisドライバもインストール # pip install redis Celeryのインストール # pip install celery worker起動設定 # wget https://raw.github.com/celery/celery/3.0/…
ソーシャルゲームとバッチサーバー ソーシャルゲームには、バッチキューサーバーがかなり重要かと思います。 そのへん、みなさんどうやってるんでしょうね‥ あまり話に上がらないです。 ソーシャルゲームで求められる要件としては、こんな感じでしょうか。 …