Зависимости
lxml
pymongo
pytz
pystache
image


Обновление экспортов
====================

cd /opt/www/stocks3

Обновление всех экспортов, кроме csvindex, regions и LG:
    sudo -u morda runners/export -vt

Обновление csvindex:
    sudo -u morda runners/s3csvindex

Обновление индекса регионов:
    sudo -u morda runners/s3regions

Обновление графиков для LG:
    sudo -u morda lg.sh


Запуск (на DEV'e):
    sudo -u morda runners/import -vt [sources]
    sudo -u morda runners/export -vt -f [csv,device,item,...]


QInfo: ./qinfo <внутренний идентификатор котировки>
  Позволяет посмотреть информацию о котировке.


Правила заливки в танкер.
  Устанавливаем в quote.xml нужные заголовки для новостей (news-title).
  Запускаем tanker/upload-to-production.sh и ждем переводы. Стягиваем переводы
  при помощи tanker/download-from-tanker.sh.


Конфигурация:

    config/default-db.xml - параметры, которые используется и при импорте и при
                            экспорте;

    config/db.xml - параметры соединения с базой данных;

    config/exporter.xml - параметры экспорта;

    config/ds-ifx.xml - имя пользователя и пароль для соединения с ds.ifx.ru;

    config/finam.ru - параметры соединения с finam.ru.

    config/countries.csv - используется при импорте средних значений котировок по
                           топливу. Содержит идентификаторы стран из геобазы.

    catalog/quotes.xml - полный список котировок. Здесь же флажки, указывающие
                         - в какие экспорты попадают какие котировки.

    catalog/sources - директория с описаниями источников.

    catalog/stocks.json - описания единиц товаров (практически не пригодился, но
                         используется).


Краткое описание основных скриптов (для тестов):

  run-import3.sh - импортируем котировки в базу 3;

  runall.sh - запускает полный цикл (импорт-экспорт всего). Используется база 3.

  runtests.sh - запуск тестов.


Для танкера:

 tanker/totanker.py - выдает на стандартный вывод XML-файл с данными для
                      танкера;

 tanker/upload-to-production.sh - заливает переводы в танкер;

 tanker/make-news-files.py - разбирает ответ от танкера и собирает файлы для
                             news.

 tanker/download-from-production.sh - скачивает переводы из такнера и
                                      раскладывает их в data/l10n/news;

 tanker/makeorder.py - определяет порядок следования котировок в файле, который
                       выдает tanker/totanker.py (использовался для сравнения
                       старого и нового выводов);


Генерация различных SQL-файлов:
  
  utils/make_gazoline_arch_sql.sh - генерирует и складывает в sql файлики
    gazoline_X.sql. Каждый файл - с архивом котировок по топливу. Входные данные
    должны лежать в staff/gazoline_arch. Их можно взять из
    https://jira.yandex-team.ru/browse/HOME-10678 (АЗС архив цен.rar).

  utils/make-gazoline-countries-arch.sh - генерирует sql файлики со значениями
    для бензиновых котировок (по странам).


Загрузка данных в базу из файла
===============================

Имеется скрипт utils/sqlc.py <source> <files>, который прогоняет файл через всю
систему и отдает SQL-запросы.


Выкладка
===============================
1. Собираем пакета руками
debuild
cd ..
dupload --to common yandex-stocks3_XXXXXXX_amd64.changes
2. Заводим тикет в кондукторе
3. Выкладку делает ezhichek@

Информация по данным от центробанка:
http://www.cbr.ru/scripts/Root.asp?PrtId=SXML


