библиотеки питон это что

Лучшие Библиотеки Python в 2022

Содержание

Python считается одним из наиболее востребованных языков программирования во всем мире. Его знает практически каждый специалист данной сферы деятельности. Популярность языка вполне объяснима универсальностью и колоссальным числом библиотек, которое не перестают пополняться. В этом материале постараемся детально рассмотреть лучшие библиотеки Python.

Преимущества Python

В первую очередь Python – распространенный язык программирования, широко используемый для web-разработок, машинного обучения, создания искусственного интеллекта, научных вычислений и многого другого. Прежде чем приступать к лучшим библиотекам данного языка, кратко опишем его основные достоинства, благодаря которым Python стал таким популярным среди программистов.

Перечень лучших библиотек Python

Keras

Keras используют такие мировые компании как Netflix, Uber и Zocdoc. Кроме того, она достаточно известна среди организаций NASA и CERN.

Numpy

Данная библиотека широко используется для машинного обучения. Именно поэтому ее также применяют и другие библиотеки (Tensor Flow). Наиболее полезной опцией, предоставляемой данным инструментом, является интерфейс массива.

Tensor Flow

SciPy

PyTorch

LightGBM

Pandas

Seaborn

Matplotlib

Использование данной библиотеки довольно обширно. Это объектно-ориентированные интерфейсы API для встраиваемых графиков разнообразных приложений. Также Matplotlib представляет процедурный интерфейс pylab, поддерживает разные наборы инструментов (Excel и natgrid, картографию).

Pillow

Раздел библиотеки изображений PIL или Python сперва был доступен со структурой и кодами Python Image. Однако спустя несколько лет исследований был разработан более удобный, оптимальный метод кодирования. В сообществе Python говорится, что Pillow не что иное, как современная вариация PIL. В целом это очень удобная и надежная платформа для обработки изображений.

Theano

Scikit-Learn

Bokeh

OpenCV Python

Arrow

XGBoost

Request

Платформа Numenta для интеллектуальных вычислений (NuPIC) имеет основную цель – реализовать алгоритмы обучения языкам программирования и сделать их общедоступными. Это основа для будущих алгоритмов машинного обучения, основанных на биологии неокортекса.

Создатели этой библиотеки разработали фреймворк, который имеет фундаментальное значение для развития искусственного интеллекта и машинного обучения. Применяя эту теорию к существующим системам глубокого обучения, получится устранить проблемы в программировании, существующие в настоящем, и создавать приложения будущего.

Системы глубокого обучения продемонстрировали впечатляющие достижения, но сталкиваются со значительными проблемами масштабируемости, которые нельзя решить простым добавлением дополнительных данных и мощности. Новый подход разработчиков этой платформы подразумевает использование принципов работы человеческого мозга, принципов нейробиологии в развитии машинного интеллекта. Все это помогает в создании «умных» приложений и облегчает жизнь программистам.

Это библиотека Python, которая используется для быстрого прототипирования моделей машинного обучения. Ramp предоставляет простой декларативный синтаксис для изучения функций, алгоритмов и преобразований. Это легкий фреймворк машинного обучения на основе pandas, который можно без проблем использовать с существующими инструментами машинного обучения и статистики Python.

RAMP изначально разрабатывалась как инструмент для специалистов по обработке данных, позволяющих эффективно и совместно решать аспекты анализа данных важных научных проблем в предметной области. С тех пор RAMP претерпела множество итераций и также использовалась при обучении и тестировании алгоритмов машинного обучения.

Рабочая среда RAMP позволяет формализовать рабочий процесс машинного обучения, определяя типы оценок (метрики), элементы рабочего процесса и типы прогнозов. RAMP состоит из набора модулей, которые позволяют легко настраивать собственный сервер и создавать новые задачи с данными.

PyBrain содержит алгоритмы для нейронных сетей, которые могут применяться студентами начального уровня, но могут использоваться и для современных профессиональных исследований. Цель библиотеки состоит в том, чтобы предложить простые, гибкие, но сложные и мощные алгоритмы машинного обучения с множеством заранее определенных сред для тестирования и сравнения ваших алгоритмов. Исследователи, студенты, разработчики, преподаватели – все могут использовать PyBrain.

Этот набор инструментов машинного обучения на Python ориентирован на контролируемую классификацию с широким спектром доступных классификаторов: SVM, k-NN, случайные графы, комбинации решений. Группа этих классификаторов дает разные системы классификации. Для обучения без учителя – самообучения программы – можно активно использовать эту библиотеку и ее компоненты. Особое внимание уделяется скорости и низкому использованию памяти. Следовательно, большая часть кода, чувствительного к производительности, написана на C ++.

От исследования данных до мониторинга ваших экспериментов – Dash похож на интерфейс аналитического бэкенда Python и подходит для решения множества задач. Эта продуктивная среда Python идеальна для приложений визуализации данных, особенно актуальных для каждого пользователя Python.

С Dash вам не нужно изучать HTML, CSS и Javascript, чтобы создавать интерактивные информационные панели, вам нужен только Python. Dash имеет открытый исходный код. Сборка приложения с использованием этой платформы просматривается в веб-браузере.

Приложения Dash состоят из двух строительных блоков: макет и обратный отклик. Макет описывает внешний вид приложения, он определяет такие элементы, как графики, раскрывающиеся списки, а также размещение, размер, цвет и другие параметры этих элементов. Dash содержит компоненты Dash HTML, с помощью которых мы можем создавать и стилизовать HTML-контент, такой как заголовки, абзацы, изображения и т. д., используя Python. Такие элементы, как графики, раскрывающиеся списки, ползунки создаются с использованием компонентов Dash Core.

Обратный отклик используется для обеспечения интерактивности приложений Dash. Это функции, с помощью которых, например, мы можем определить действие, которое будет происходить при нажатии кнопки или раскрывающегося списка.

Новый игрок в среде Python – Caffe2 – это легкая, модульная и масштабируемая платформа глубокого обучения. Его цель – предоставить программисту простой и понятный способ экспериментировать с глубоким обучением. Благодаря API Python и C ++ в Caffe2 мы можем создать наш прототип сейчас и оптимизировать позже. Начать работу с Caffe2 можно прямо сейчас, воспользовавшись пошаговым руководством на официальном сайте проекта.

Вероятность того, что вы, должно быть, слышали о Python, очевидна. Детище Гвидо Ван Россума – Python, появившееся в 80-х, стало переломным моментом. Сегодня это один из самых популярных языков программирования, который широко используется для создания целого ряда приложений. Библиотеки Python – это набор полезных функций, которые устраняют необходимость написания кода с нуля. Сегодня существует более 137 000 библиотек Python. Библиотеки Python играют жизненно важную роль в разработке приложений машинного обучения, обработки данных, визуализации данных, обработки изображений, данных и многого другого.

Заключение

Python – полезный и продуктивный язык программирования, который постоянно растет и развивается. Его библиотеки играют одну из важнейших ролей в работе и продвижении программистов. Они широко применяются в науке о данных, машинном обучении и многом другом. Благо за годы работы разработчики создали великое множество библиотек для Python. Надеемся, эта статья поможет пользователю сориентироваться в многообразии инструментов и выбрать те, на которых стоит сосредоточить свое внимание.

Источник

6 основных библиотек для программирования на Python

Python (питон) — это высокоуровневый язык программирования общего назначения, который стал одним из ведущих и популярнейших в сообществе программистов. По своим возможностям он классифицируется от разработки упрощенных приложений до проведения сложных математических вычислений с одинаковым уровнем сложности.

Являясь одним из ведущих языков программирования, он имеет много фреймворков (платформ для построения приложений) и библиотек, которыми можно воспользоваться. Библиотека языка программирования — это просто набор модулей и функций, которые облегчают некоторые специфические операции с использованием этого языка программирования.

Итак, вот 6 основных библиотек для программирования на Python, о которых должен знать каждый разработчик на Python:

• Keras

Тип – нейросетевая библиотека.

Начальная версия – март 2015.

Keras – открытая нейросетевая библиотека, написанная на языке Python. Нацелена на оперативную работу с сетями глубокого обучения, при этом спроектирована так, чтобы быть компактной, модульной и расширяемой.

В дополнение к предоставлению более простого механизма для выражения нейронных сетей, Keras также предлагает некоторые из лучших функций для компиляции моделей, обработки наборов данных и визуализации графиков. На бэкэнде (сервере) Keras использует либо Theano, либо TensorFlow.

В связи с тем, что Keras создает вычислительный граф с помощью серверной инфраструктуры, а затем использует его для выполнения операций, он работает медленнее, чем другие библиотеки машинного обучения. Тем не менее, все модели в Keras являются портативными.

• NumPy

Тип – техническая вычислительная библиотека.

Начальная версия – 1995 (как Numeric).

NumPy был создан Трэвисом Олифантом в 2005 году путем включения функций конкурирующей библиотеки Numarray в библиотеку Numeric и применения обширных модификаций. В бесплатной библиотеке с открытым исходным кодом есть несколько соавторов со всего мира.

Одна из самых популярных библиотек машинного обучения в Python, TensorFlow и несколько других библиотек используют библиотеку NumPy Python внутри себя для выполнения нескольких операций над тензорами.

• Pillow

Тип – Библиотека обработки изображений

Начальная версия – 1995 (Как Python Imaging Library или PIL)

Pillow — это библиотека Python, которая почти так же стара, как и язык программирования, для которого она была разработана. На самом деле, Pillow — это форк для PIL (Python Imaging Library). Свободно используемая библиотека Python необходима для открытия, манипулирования и сохранения разнообразных файлов изображений.

Pillow была принята в качестве замены оригинального PIL в нескольких дистрибутивах Linux, в частности, Debian и Ubuntu. Тем не менее, он также доступен для MacOS и Windows.

• PYGLET

Тип — Библиотека разработки игр

Начальная версия – апрель 2015

Библиотека многоплатформенного кадрирования и мультимедии для Python, PYGLET — это популярное имя для разработки игр с использованием Python. В дополнение к играм, библиотека разработана для создания визуально насыщенных приложений.

В дополнение к поддержке кадрирования, PYGLET обеспечивает поддержку загрузки изображений и видео, воспроизведения звуков и музыки, графики OpenGL и обработки событий пользовательского интерфейса.

• Requests

Тип – Библиотека HTTP

Начальная версия – февраль 2011

Requests — HTTP библиотека Python, направлена на то, чтобы сделать запросы HTTP проще и удобнее. Разработанный Кеннетом Рейтцем и несколькими другими участниками, Requests позволяет отправлять запросы HTTP/1.1 без вмешательства человека.

От Nike и Spotify до Amazon и Microsoft десятки крупных организаций используют запросы внутренне, чтобы лучше справляться с HTTP. Написанная полностью на Python, Requests доступна в виде бесплатной библиотеки с открытым исходным кодом под лицензией Apache2.

• TensorFlow

Тип – Библиотека машинного обучения

Начальная версия – ноябрь 2015

TensorFlow — это бесплатная библиотека Python с открытым исходным кодом, предназначенная для решения ряда задач, связанных с потоком данных и дифференцируемым программированием. Тем не менее, символическая математическая библиотека TensorFlow является одной из наиболее широко используемых библиотек машинного обучения Python.

Разработанный Google Brain для внутреннего использования, библиотека используется для коммерческих и исследовательских целей.

Тензорными являются N-мерные матрицы, которые представляют данные. Библиотека TensorFlow позволяет писать новые алгоритмы, включающие большое количество тензорных операций.

Поскольку нейронные сети могут быть выражены в виде вычислительных графов, они могут быть легко реализованы с использованием библиотеки TensorFlow в виде последовательности операций над тензорами.

Изучайте Python сейчас и да прибудет с вами сила!

Источник

Библиотеки Python: Что это такое и как этим пользоваться?

Вас интересуют библиотеки Python? Для чего подходит библиотека Numpy, Python Django, TensorFlow Python и другие. Всё про библиотеки Python!

Обновлено: September 24, 2021

Стандарты Проверки Фактов BitDegree.org

Чтобы обеспечить высокий уровень точности и актуальности информации, BitDegree.org регулярно проводит аудит и проверку фактов, следуя строгим редакторским правилам. Для соответствия стандартам надёжности, соблюдаются строгие правила добавления ссылок.

Весь контент на BitDegree.org соответствует данным критериям:

1. Только авторитетные источники такие как академические ассоциации или журналы могут быть использованы для целей исследования при создании контента.

2. Реальный контекст каждой освещаемой темы должен быть раскрыт читателю.

3. Если существует конфликт интересов в указываемом исследовании, то читатель должен быть об этом проинформирован.

Свяжитесь с нами, если вы думаете, что контент является устаревшим, неполным или сомнительным.

Когда мы говорим про библиотеку, то представляем себе дымчатый запах старых книг и уютную атмосферу внутри огромного помещения. Если бы библиотеки Python были в реальном мире, то мы бы увидели упорядоченные полки с модулями, которые вы могли бы брать и использовать в вашем коде. Именно поэтому, библиотеки Python принято считать источниками различного полезного функционала. Ведь разработчики чаще всего стараются избегать излишней траты времени на написание собственного кода, когда есть уже написанный и проверенный фрагмент кода из библиотеки.

В данном руководстве мы расскажем про самые популярные Python библиотеки, которые используют программисты для импорта и добавления модулей в свой код. Если вы один из тех, кто любит выполнять работу эффективно, то вы обязательно должны узнать, что именно эти библиотеки могут предложить!

Используя их, вы сможете писать код более эффективно и экономить время для других важных вещей. Однако давайте не будем спешить. Для начала нам стоит узнать, что на самом деле из себя представляет библиотека Python.

Содержание

Важные Концепты Для Обучения

Перед тем как начать разбор различных библиотек Python, давайте рассмотрим некоторые базовые концепты. Например, глубокое обучение (deep learning) — это процесс машинного обучения. Вы же знаете как люди учаться на своих ошибках? Это же применимо для компьютеров. Глубокое обучение нацелено на то, чтобы научить машину учиться на примерах.

Другим интересующим нас термином станет нейронная сеть, которая напоминает человеческий мозг. Каким образом? Что же, нейронные сети являются комбинацией алгоритмов, которые нацелены на подражание способности человека определять различные модели или примеры. Следовательно, эта концепция берёт биологию человека и применяет ее в мире программирования для распознавания изображений и речи (обычно только одного из вариантов).

Самые Полюбившиеся Статьи

Ищете более подробную информацию по какой-либо связанной теме? Мы собрали похожие статьи специально, чтобы вы провели время с пользой. Взгляните!

Курсы Машинного Обучения edX: Что Мы Рекомендуем?

Заинтересованы в прохождении курсов машинного обучения онлайн? Взгляните на лучшие edX курсы машинного обучения, которые вы можете пройти сейчас!

Курсы Рисования Skillshare: Лучшие Уроки Для Демонстрации Вашей Креативности

Станьте удивительным художником, пройдя отобранные вручную курсы рисования Skillshare!

Курсы Фотографии Skillshare: Как Запечатлеть Мир

Какие курсы фотографии Skillshare стоят вашего внимания? Взгляните на лучшие варианты и узнайте больше.

Что Такое Библиотеки Python?

Для начала вы должны понять, что библиотеки Python не очень сильно отличаются от обычных библиотек, где вы можете найти и взять интересующую вас книгу. Они схожи тем, что являются коллекциями источников информации.

Тем не менее, вместо книг, вы получаете модули, которые вы можете применить для вашего процесса программирования. Все профессиональные разработчики пользуются преимуществами модулей. Если существует простой способ сделать что-то, то почему бы не воспользоваться этим?

Как только вы начнёте искать Python библиотеки, то вы будете удивлены обилием огромного количества доступных оригинальных и сторонних модулей. Именно по этой причине, вам может быть сложно выбрать те, которые вам нужны в какой-то определённый момент. Если вы программист, который работает во многих сферах, то выбрать какую-то определённую библиотеку для вас будет той ещё головной болью.

Вы уже должны знать, что Python является очень гибким языком. Это настоящая находка в мире программирования, так как он может быть использованы в сфере науки о данных, веб-разработке и даже машинном обучении. Если вы новичок в программировании, то вы можете попробовать пройти некоторые онлайн-курсы, чтобы понять насколько этот язык полезен.

В общем и целом различные библиотеки Python включают в себя различные модули для определённых областей применения. Должны ли мы начать наше знакомство с TensorFlow, PyTorch, Numpy, Sklearn и другими популярными библиотеками?

Кстати, если вы испытываете проблемы с поиском работы в качестве программиста на Python, то мы можем порекомендовать вам прочитать немного информации про вопросы собеседования, которые часто задают работодатели. Если вы не сможете ответить на них, то вы вряд-ли будете подходить для этой работы. Кроме того, один из этих вопросов собеседования касается библиотеки Python. Поэтому можете прочитать данное руководство, а уже потом вернуться к этой части.

API и Python: Лучшие Библиотеки

Flask

Django

Falcon

AI и Python: Полезные Библиотеки

IT индустрия ускоряет разработку интеллектуальных машин, способных демонстрировать поведение, подобное человеческому, в особенности, когда дело доходит до обучения. Эта симуляция человеческого интеллекта основана на разнообразных библиотеках Python, специально разработанных для развития этой отрасли информатики. Если вы хотите, чтобы машина думала, училась и была способна решать проблемы, вы должны запомнить библиотеки, которые могут помочь вам совершить очередной прорыв:

TensorFlow

PyTorch

Theano

Keras

Scikit-learn

Раунд Первый: PyTorch vs TensorFlow

Жаркое соперничество за превосходство между этими двумя библиотеками продолжается уже в течение некоторого времени. Однако никто не может отрицать тот факт, что это лучшие библиотеки Python в своей сфере. И PyTorch, и TensorFlow созданы для предоставления модулей машинного обучения, глубокого обучения и управления нейронными сетями.

Поскольку обе эти структуры работают в одинаковых областях, понятно, что между ними существует здоровая конкуренция. Давайте рассмотрим их основные различия, преимущества и попытаемся урегулировать этот спор.

Знаменитые Создатели: Facebook и Google

Эти две библиотеки создали два гиганта в сфере IT. PyTorch является творением Facebook и основан на Torch. Тогда что насчёт TensorFlow? Эта библиотека была создана Google. Она основана на Theano. Другими словами, обе эти библиотеки имеют известных и успешных создателей.

Поддержка Windows

Некоторое время пользователей операционных систем Microsoft Windows не приглашали на закрытую вечеринку PyTorch. Эта библиотека машинного обучения с открытым исходным кодом добавила поддержку PyTorch для Windows только лишь в апреле 2018 года. TensorFlow предпринял этот шаг, чтобы привлечь пользователей Windows гораздо ранее, еще в 2016 году.

Поддержка Для Других Операционных Систем

Список поддерживаемых систем между этими двумя библиотеками по-прежнему отличается. Несмотря на то, что поддержку PyTorch для Windows приняли очень хорошо, TensorFlow до сих пор может предложить больше. Тогда как PyTorch поддерживает Linux, macOS и Window, TensorFlow может быть использован на Linux, macOS, Windows, Android и даже JavaScript. Google выпустил TensorFlow.js 1.0 специально для машинного обучения на JavaScript.

Различия в Вычислительных Графах

При попытке урегулировать битву PyTorch vs TensorFlow невозможно не упомянуть о различиях в способах обработки вычислительных графов. Такие графы имеют решающее значение для оптимизации сетей нейронного кода. Почему? Что же, они визуализируют поток операций и информации.

С PyTorch программисты создают динамические графы, разработанные путём интерпретации строк кода, которые представляют определенные части графа. TensorFlow выбирает другой подход для создания графов. Графы должны проходить через процесс компиляции. После этого они должны быть запущены с использованием механизма выполнения TensorFlow (TensorFlow Execution Engine).

Звучит, как будто здесь всё более сложно, не так ли? Это так и есть. Если вы хотите создать графы с помощью TensorFlow, то вы понадобятся знания проверки переменной. В дополнение к этому, PyTorch позволяет использовать обычный дебаггер Python. TensorFlow таковой не использует. Именно поэтому, если вы хотите создать графы без необходимости изучать новые концепты, то PyTorch вам подойдёт больше.

Визуализация Модели Машинного Обучения

Первое впечатление всегда важно. Когда вы делаете презентацию вашего проекта, то очень важно предоставить точную и простую визуальную составляющую данных. TensorFlow предлагает разработчикам TensorBoard, который позволяет визуализировать модели машинного обучения. Программисты используют этот инструмент для обнаружения ошибок и представления о точности графов. PyTorch не обладает таким функционалом, но вы можете воспользоваться сторонним функционалом для достижения таких же результатов.

Сообщество Пользователей

Эти библиотеки Python также отличаются по их текущей популярности. Не удивляйтесь. TensorFlow был в этой сфере дольше времени, поэтому больше программистов используют этот фреймворк для машинного и глубокого обучения. Поэтому, если вы столкнётесь с трудностями, которые не позволяют вам закончить ваш проект, то сообщество TensorFlow будет иметь больше шансов вам помочь.

Источник

15 библиотек Python для Data Science

Эксперт в Frontend, Data Science. Ментор, автор курсов в SkillFactory.

Язык Python часто применяется в Data Science, потому что, во-первых, по сравнению с другими языками код для сложных задач на Python проще и короче. А во-вторых, есть много мощных прикладных библиотек для решения разных задач: первичной обработки и анализа данных, обработки естественного языка и визуализации. Эта подборка будет полезна аналитикам данных, математикам и тем, кто занимается Data Science на разных уровнях. Составить ее нам помогли эксперты Константин Башевой (старший аналитик «Ростелеком»), Петр Ермаков (руководитель отдела аналитики в Mail.ru) и Анна Агабекян (ментор курса SkillFactory).

Библиотеки Python — это файлы с шаблонами кода. Их придумали для того, чтобы людям не приходилось каждый раз заново набирать один и тот же код: они просто открывают файл, вставляют свои данные и получают нужный результат. В этом материале вы найдете описание библиотек, которые используются чаще всего для анализа данных на Python.

Основные библиотеки Python

Вот базовые библиотеки, которые делают из языка программирования Python инструмент для анализа и визуализации данных. Иногда их называют SciPy Stack. На них основываются более специализированные библиотеки.

Jupyter

Интерактивная оболочка для языка Python. В ней есть дополнительный командный синтаксис; она сохраняет историю ввода во всех сеансах, подсвечивает и автоматически дополняет код. Если вы когда-либо пользовались Mathematica или MATLAB, то разберетесь и в Jupyter.

Интерфейс библиотеки подходит для исследования и первичной обработки данных, тестирования первых версий кода и его улучшения. Используя язык разметки Markdown для форматирования текста и библиотеки для визуализации, можно формировать аналитические отчеты в браузере или преобразовать отчет в презентацию. С помощью JupyterHub можно настроить совместную работу команды на сервере.

Пример небольшого анализа данных в браузере:

NumPy

NumPy — основная библиотека Python, которая упрощает работу с векторами и матрицами. Содержит готовые методы для разных математических операций: от создания, изменения формы, умножения и расчета детерминанта матриц до решения линейных уравнений и сингулярного разложения. Например, возьмем такую систему уравнений:

Чтобы ее решить, достаточно воспользоваться методом lialg.solve:

SciPy

Библиотека SciPy основывается на NumPy и расширяет ее возможности. SciPy похожа на Matlab. Включает методы линейной алгебры и методы для работы с вероятностными распределениями, интегральным исчислением и преобразованиями Фурье. Пример расчета определителя двумерной матрицы:

from scipy import linalg
import numpy as np
#define square matrix
two_d_array = np.array([ [4,5], [3,2] ])
#pass values to det() function
linalg.det( two_d_array )

Matplotlib

Matplotlib — низкоуровневая библиотека для создания двумерных диаграмм и графиков. С ее помощью можно построить любой график, но для сложной визуализации потребуется больше кода, чем в продвинутых библиотеках.

import matplotlib.pyplot as plt
import numpy as np
t = np.arange(0.0, 2.0, 0.01)
s = 1 + np.sin(2*np.pi*t)
plt.plot(t, s)
plt.xlabel(‘time (s)’)
plt.ylabel(‘voltage (mV)’)
plt.title(‘About as simple as it gets, folks’)
plt.grid(True)
plt.savefig(«test.png»)
plt.show()

Библиотеки для работы с данными

Библиотеки Python для анализа данных, Machine Learning и обучения сложных нейронных сетей.

Scikit-learn

Scikit-learn основана на NumPy и SciPy. В ней есть алгоритмы для машинного обучения и интеллектуального анализа данных: кластеризации, регрессии и классификации. Это одна из самых лучших библиотек для компаний, работающих с огромным объемом данных — ее используют Evernote, OKCupid, Spotify и Birchbox.

Пример визуализации частичной зависимости стоимости домов в Калифорнии в зависимости от особенностей местности:

from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import fetch_california_housing
from sklearn.inspection import plot_partial_dependence
X, y = fetch_california_housing(return_X_y=True, as_frame=True)
features = [‘MedInc’, ‘AveOccup’, ‘HouseAge’, ‘AveRooms’]
est = RandomForestRegressor(n_estimators=10)
est.fit(X, y)
display = plot_partial_dependence(
est, X, features, kind=»individual», subsample=50,
n_jobs=3, grid_resolution=20, random_state=0
)
display.figure_.suptitle(
‘Partial dependence of house value on non-location features\n’
‘for the California housing dataset, with BayesianRidge’
)
display.figure_.subplots_adjust(hspace=0.3)

TensorFlow

Библиотеку создали в Google, чтобы заменить DistBelief — фреймворк для обучения, настройки и тренировки нейронных сетей. Благодаря этой библиотеке Google может определять объекты на фотографиях, а приложение для распознавания голоса — понимать речь.

Пример архитектуры сверточной нейронной сети:

Model: «sequential»
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
conv2d (Conv2D) (None, 30, 30, 32) 896
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 15, 15, 32) 0
_________________________________________________________________
conv2d_1 (Conv2D) (None, 13, 13, 64) 18496
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 6, 6, 64) 0
_________________________________________________________________
conv2d_2 (Conv2D) (None, 4, 4, 64) 36928
_________________________________________________________________
flatten (Flatten) (None, 1024) 0
_________________________________________________________________
dense (Dense) (None, 64) 65600
_________________________________________________________________
dense_1 (Dense) (None, 10) 650
=================================================================
Total params: 122,570
Trainable params: 122,570
Non-trainable params: 0
_________________________________________________________________

Keras

Библиотека глубокого обучения. Благодаря модульности и масштабированию она позволяет легко и быстро создавать прототипы. Keras поддерживает как сверточные и рекуррентные сети, так и их комбинации.

Пример кода обучения модели по классификации изображений:

epochs = 50
callbacks = [
keras.callbacks.ModelCheckpoint(«save_at_.h5»),
]
model.compile(
optimizer=keras.optimizers.Adam(1e-3),
loss=»binary_crossentropy»,
metrics=[«accuracy»],
)
model.fit(
train_ds, epochs=epochs, callbacks=callbacks, validation_data=val_ds,
)

Библиотеки для интеллектуального анализа и обработки естественного языка

Полезные иблиотеки для работы с текстом, которые используются для извлечения данных из интернет-ресурсов и обработки естественного языка.

Scrapy

Библиотека используется для создания ботов-пауков, которые сканируют страницы сайтов и собирают структурированные данные: цены, контактную информацию и URL-адреса. Кроме этого, Scrapy может извлекать данные из API.

Пример кода для создания бота-паука:

NLTK (Natural Language Toolkit)

Набор библиотек для обработки естественного языка. Основные функции: разметка текста, определение именованных объектов, отображение синтаксического дерева, раскрывающего части речи и зависимости. Например, так выглядит обучение классификатора, который будет определять тональность текста:

>>> trainer = NaiveBayesClassifier.train
>>> classifier = sentim_analyzer.train(trainer, training_set)
Training classifier
>>> for key,value in sorted(sentim_analyzer.evaluate(test_set).items()):
… print(‘<0>: <1>’.format(key, value))
Evaluating NaiveBayesClassifier results…
Accuracy: 0.8
F-measure [obj]: 0.8
F-measure [subj]: 0.8
Precision [obj]: 0.8
Precision [subj]: 0.8
Recall [obj]: 0.8
Recall [subj]: 0.8

Pattern

Сочетает функциональность Scrapy и NLTK и предназначена для извлечения данных в интернете, естественной обработки языка, машинного обучения и анализа социальных сетей. Среди инструментов есть поисковик, API для Google, Twitter и Wikipedia и алгоритмы текстового анализа, которые могут выполняться несколькими строками кода.

Источник