Выгрузить большой Dataframe в Excel

Опубликовано 8 комментариевОпубликовано в рубрике Основная, Рецепты

Появилась задача выгрузить очень большой (около 300 000 строк) датафрейм в Excel. Рабочий компьютер — такой рабочий. Windows 7 32-bit, 2GB оперативки. В общем — известными пакетами (excel.link, WriteXLS, XLConnect, xlsx, openxlsx) никак не получалось. Почти во всех пакетах возникала проблема переполнения памяти Java (Java heap). openxlslx не использует Java (использует rcpp), но и в […]

Легитимизация R в организации

Опубликовано Оставить комментарийОпубликовано в рубрике Интересное, Основная, Рецепты

Недавно, в блоге RSTUDIO появилась статья, прочитав первый абзац которой – передо мной как будто развернулась моя собственная ситуация с рассказом о том, каким образом в организациях появляется язык R. И что неплохо было бы сделать, чтобы язык прижился и начал приносить еще больше плодов в организации. Статью пока прям вот до конца не понял, […]

Выступление на rMoscow #2

Опубликовано 2 комментарияОпубликовано в рубрике Интересное, Основная

В пятницу вечером выступал на 2 митапе группы rMoscow. Вот запись, угадайте каким выступал я 🙂 Понравилось выступать, в принципе, но мне кажется все-таи аудитория была в основном «не моя». Как я понял, там собрались настоящие профессионалы в программировании на R, для которых мой формат intro был не особо интересен. Они зубры datascience, работающие в […]

Материалы к выступлению на rMoscow #2

Опубликовано Оставить комментарийОпубликовано в рубрике Интересное, Основная

Презентация (формат PowerPoint) Презентация (формат Keynote) Исходный код примера Файл данных примера Шаблон PowerPoint Построенная презентация (пример)

Gpu вычисления — зачем?

Опубликовано Оставить комментарийОпубликовано в рубрике Интересное, Основная

А если вы задаетесь вопросом, что дает GPU-вычисление по сравнению с обычными вычислениями на центральном процессоре — то вот вам видео, которое наглядно показывает эффект использования GPU. PS. Подсмотрел пример у Андрея Себранта в Facebook

RandomForest на GPU…

Опубликовано Оставить комментарийОпубликовано в рубрике Интересное, Основная

В предыдущей статье я забыл рассказать, что еще одна претензия к R это отсутствие реализации GPU-вычислений (вычислений с использованием видеокарт). Но, что-то задумался — так ли это? Полез проверять и нашел очень полезную вещь. Встречайте — Rborist — реализацию алгоритма RandomForest! Вот что про него написано в документации: «Tuned for multicore and GPU hardware». То […]

Асинхронное программирование в R. Есть такое!

Опубликовано 1 комментарийОпубликовано в рубрике Основная

Существует, мнение, что одним из недостатком в R является отсутствие вменяемой реализации, для выполнения параллельных вычислений (в частности асинхронного выполнения). Кстати, прочитать для общего представления про виды параллельного выполнения программ можно в этом замечательном ответе на Stackoverflow Тот-же пакет parallel под Windows работать не будет больше чем с 1 ядром процессора. Однако, периодически в R […]

Достучаться до IBM Watson

Опубликовано Оставить комментарийОпубликовано в рубрике Интересное

Запись из раздела «Это может быть интересным». Вы наверное слышали, о великой машине которая все предсказывает IBM Watson. И вам хотелось разобраться с ней. Так вот новость — Есть opensource библиотека для упрощения доступа к Watson из R. Ничего себе так новость, да? Я то думал что к сей машине пускают только мировые фонды, типа […]

Обращение к Яндекс-геокод из R

Опубликовано 5 комментариевОпубликовано в рубрике Основная, Рецепты

Понадобилось мне как-то вывести всех клиентов на карту. Но проблема — в ERP есть их адреса, а вот координат нету. Но такую задачу отлично решают сервисы геокодирования, большинство из которых предоставляют к себе доступ через API. Мой выбор пал на Яндекс.Геокодирование Пришлось написать совсем небольшую функцию, которая на вход принимает строку адреса, а на выходе […]

Spark 2.0

Опубликовано 7 комментариевОпубликовано в рубрике Основная

Некоторое время уже изучаю Apache Spark, в версии для R (SparkR). Ну как изучаю — нашел книжку про Spark, в которой есть примеры на Scala и Python и пытаюсь их переложить на R. Медленно и с трудом но вроде получается. Конечно — реализация для R еще очень и очень слаба. Основные претензии: * нет загрузки […]