たんたんめん日記

ソシャゲ関連のなんでもやさん備忘録

2013-07-31から1日間の記事一覧

【Celery】Celery 感想編

色々使ってみての感想 望んでいた機能はすべて持っていると感じましたのですが、業務で使う場合はいくつか気になるところもあります。 本当に排他ロックしているのか。 していると思うんですが、複数のworkerが1つのタスクを同時に行うとマズイです。 いつ…

【Celery】Celery 複数サーバーでworkerを立ち上げてみる編

複数サーバーでの立ち上げ 単純に同じソースコードをデプロイしておきます。 /etc/sysconfig/celerydのworker名を各サーバーで変えておきます。 各サーバーでcelerydを立ち上げflowerで確認すると、 ちゃんと2台のサーバー(worker01〜03と、04〜06)を認識…

【Celery】Celery 結果をmysqlに格納する編

ソース一式はコチラ https://github.com/dnond/celery_scraping 下準備 CeleryはSQLAlchemyをサポートしているので、インストールします。 # pip install SQLAlchemy あと、mysql本体もインストールしておく必要があります。 RESULT_BACKENDの設定 参考:htt…

【Celery】Celery Task Status編

Task Status 参考:http://docs.celeryproject.org/en/latest/userguide/tasks.html#states Celeryには、Taskの状態を示すStatusが定義されています。 成功時(success)・失敗時(failure)・再実行時(retry)のStatusには、Statusが変わった時に発火する…

【Celery】Celery タスクの追加とflower編

ソース一式はコチラ https://github.com/dnond/celery_scraping タスクの実行確認 タスクを追加するコードです。 task_scrape.apply_async()でタスクを追加しています。 # -*- coding: utf-8 -*- import sys from MyApp import MyApp ## デフォルト値 target…

【Celery】Celery アプリ・タスクの定義編

テストで作成したアプリは、スクレイピングを行い、titleタグの文字列を取得して来るものです。 PyQueryが必要なのでインストールしておきます。 # yum install libxml2-devel libxslt-devel # pip install pyquery ソース一式はコチラ https://github.com/d…

【Celery】Celery インストール、Worker立ち上げ編

下準備 Redisのインストールと起動 # yum install -y redis # service redis start pythonのredisドライバもインストール # pip install redis Celeryのインストール # pip install celery worker起動設定 # wget https://raw.github.com/celery/celery/3.0/…

【Celery】Celery 要件と環境編

ソーシャルゲームとバッチサーバー ソーシャルゲームには、バッチキューサーバーがかなり重要かと思います。 そのへん、みなさんどうやってるんでしょうね‥ あまり話に上がらないです。 ソーシャルゲームで求められる要件としては、こんな感じでしょうか。 …