Интеграция PostgreSQL с другими СУБД: делаем запросы в MySQL

Нередко бывает так, что в большом проекте в силу тех или иных причин — зачастую исторических, хотя бывает по-всякому — его части могут использовать различные СУБД для хранения и поиска критически важных данных. В числе прочего, этому разнообразию способствует конкуренция и развитие технологий, но, так или иначе, взаимодействие между СУБД описывает стандарт SQL/MED 2003 (Management of External Data), который вводит определение Foreign Data Wrappers (FDW) и Datalink.


Первая часть стандарта предлагает средства для чтения данных как набора реляционных таблиц под управлением одного или нескольких внешних источников; FDW также может представлять возможность использовать SQL-интерфейс для доступа к не SQL данным, таким, как файлы или, например, список писем в почтовом ящике.
Вторая часть, Datalink, позволяет управлять удаленным SQL-сервером.


Эти две части были реализованы еще в PostgreSQL 9.1 и называются FDW и dblink соответственно. FDW в PostgreSQL сделан максимально гибко, что позволяет разрабатывать wrapper'ы для большого количества внешних источников. В настоящее время мне известны такие FDW, как PostgreSQL, Oracle, SQL Server, MySQL, Cassandra, Redis, RethinkDB, Ldap, а также FDW к файлам типа CSV, JSON, XML и т.п.


В нашей статье мы поговорим о том, как настроить подключение PostgreSQL к MySQL и эффективно выполнять получающиеся запросы.


08/30/2016 15:38:30
0

Лекции Техносферы. Программирование на Perl (осень 2015)



Сегодня мы предлагаем вам ознакомиться с одним из курсов Техносферы, который посвящён программированию на Perl. Этот курс открытый — на него может записаться любой студент или аспирант МГУ имени М.В. Ломоносова. Также в Техносфере есть еще несколько открытых курсов, 1 сентября на них открывается запись. В этом семестре вас ждет приятное дополнение: они будут подкреплены методическим материалом, который будет содержать достаточно информации, чтобы по нему можно было вспомнить материал любой лекции и при необходимости более глубоко её изучить.

Цель курса «Программирование на Perl» — узнать возможности языка (его сильные и слабые стороны), научиться писать программные продукты на этом языке, научится быстро ориентироваться в чужом коде. Под катом находятся все лекции в формате видео и краткое описание к ним.
08/30/2016 15:27:56
0

Гейзенбаг, или как Луна портит код

Луна убывает, такое бывает… ©Земфира

Гейзенбагом называют ту разновидность программных глюков, которая возникает не пойми откуда, не поддается отладке и обнаружению. Словом, ведет себя как тот самый Неуловимый Джо или кроковский кот из недавнего поста. Мне по работе приходилось сталкиваться с такими и про себя я называл это эффектом квантовой механики до тех пор, пока не узнал, что близкое по смыслу название уже давно придумали. Бывает, посылаешь заказчику отладочный бинарник, который всего лишь записывает в журнал больше событий вокруг предполагаемого источника проблемы и после этого проблема исчезает!

heisenbug /hi:'zen-buhg/ n.
A bug that disappears or alters its behavior when one attempts to probe or isolate it.




Предлагаю вашему вниманию свою небольшую познавательную коллекцию квантовых эффектов в программировании.


Эпизод I, OpenOffice не печатает во вторник


Историю этого замечательного багрепорта можно почитать на Ubuntu Launchpad, а я вкратце изложу суть для тех, кому не сподручно читать по ссылке. В системной утилите file был баг из-за которого, файлы содержащие в 4-м байте Tue определялись как Erlang JAM. Дефект присутствовал в версиях file 4.21 и 4.24 и был вызван ошибкой в magic файле.

08/30/2016 15:16:44
0

[Перевод] Спросите Итана №85: Хаббл против Большого взрыва

Откуда мы знаем, что флюктуации в космическом микроволновом фоновом излучении (КМФИ) не загрязнены тем, что открывает телескоп им. Хаббла?


Тихо, одна за другой, на бескрайних небесных лугах
Ангельскими цветами распускались прекрасные звезды
— Лонгфелло


Отмечая 25-летие запуска космического телескопа им. Хаббла было естественно выбрать из ваших вопросов письмо от Жерара, обратившего внимание на две вещи, которые вы можете счесть несвязанными друг с другом, хотя они и связаны. Он спрашивает:
Учёные рассказывают о почти идеальной равномерности КМФИ. Откуда они знают, что измеренные расхождения в равномерности не возникают из-за отсутствия хороших поправок для галактик, находящихся в поле зрения измеряющих излучение телескопов?


Можно подумать, что это никак не связано с Хабблом, но это не так. Вернёмся к началу истории и проследим за её развитием.


08/30/2016 15:05:02
0

Удостоверяющий центр из Китая по ошибке выдал пользователю SSL-сертификат для домена GitHub



Китайский удостоверяющий центр WoSign, который специализируется на выдаче бесплатных SSL-сертификатов, по ошибке выдал дублирующие сертификаты для базовых доменов Github и Университета Центральной Флориды обычному пользователю.

Ошибку обнаружил один из студентов учебного заведения — по словам сотрудника Mozilla Джерваза Маркхама (Gervase Markham), описавшего эту историю, все случилось еще в апреле 2016 года, но известно об этом стало только сейчас.
08/30/2016 14:55:09
0

E Ink-2016: как сегодня обстоят дела на рынке ридеров-покетбуков?

Портативные электронные ридеры (читалки, букридеры, покетбуки и пр.) – это своего рода устройства-невидимки информационного пространства. В Интернете о них в последнее время пишут редко и скудно, обзоры таких устройств нынче мало кто делает, в социальных сетях их практически не обсуждают… Но стоит прокатиться на московском или питерском метро – и человека с ридером можно встретить практически в каждом вагоне. Причём это наверняка будет даже не один человек, а два или больше. Стоит зайти в гости в какому-нибудь книгочею – и на кровати/столе/подоконнике чаще всего можно будет увидеть электронный ридер.



Отдельные персонажи пишут в дискуссиях на форумах, что читалки, дескать, вымерли, и больше ими никто не занимается, а ещё их никто не покупает. Что тут можно сказать? Желаю таким персонажам почаще оглядываться вокруг. Если вы не верите мне на слово, то приведу немного цифр: в 2013 году объем российского рынка ридеров-покетбуков с экранами E Ink составил 800 тысяч штук, в 2014 – 870 тысяч штук, в 2015 – остался примерно на уровне 2014 года. То есть рынок в последние годы не то что не сжался до размеров грецкого ореха, а очень даже рос! Достаточно сказать, что в 2011 году, когда в России начался видимый невооруженным глазом бум на читалки, объём рынка таких устройств с экранами E Ink составил «всего» 680 тысяч штук. То есть куда меньше, чем сейчас.
08/30/2016 14:49:16
0

Что нового в IntellIJ IDEA 2016.3 EAP

Вчера стала доступна IntellIJ IDEA 2016.3 EAP – программа “раннего” доступа к обновлению, запланированному на эту осень.

image

Для справки. Официально программа называется Early Access Program. На практике это аналог alpha-версии. Обновления появляются в среднем с недельной периодичностью. Каждый желающий может установить дистрибутив, попробовать новые функции и поделиться своим мнением и идеями в трекере.

В этом посте я расскажу о главных нововведениях, которые уже доступны в EAP-билде.

08/30/2016 14:14:34
0

Virtual User Session vs. VDI: перспективы и потенциал

image

Рынок решений для удаленного доступа к приложениям и виртуальным рабочим столам оценивается разными экспертами от 3-х до 14-ти миллиардов долларов. Parallels можно считать относительно молодым игроком в данном сегменте. В этой статье мы расскажем о своем видении ситуации на рынке и поделимся планами развития.


08/30/2016 14:07:35
0

[Перевод] Когда «О» большое подводит


"О" большое — это отличный инструмент. Он позволяет быстро выбрать подходящую структуру данных или алгоритм. Но иногда простой анализ "О" большого может обмануть нас, если не подумать хорошенько о влиянии константных множителей. Пример, который часто встречается при программировании на современных процессорах, связан с выбором структуры данных: массив, список или дерево.


Память, медленная-медленная память


В начале 1980-х время, необходимое для получения данных из ОЗУ и время, необходимое для произведения вычислений с этими данными, были примерно одинаковым. Можно было использовать алгоритм, который случайно двигался по динамической памяти, собирая и обрабатывая данные. С тех пор процессоры стали производить вычисления в разы быстрее, от 100 до 1000 раз, чем получать данные из ОЗУ. Это значит, что пока процессор ждет данных из памяти, он простаивает сотни циклов, ничего не делая. Конечно, это было бы совсем глупо, поэтому современные процессоры содержат несколько уровней встроенного кэша. Каждый раз когда вы запрашиваете один фрагмент данных из памяти, дополнительные прилегающие фрагменты памяти будут записаны в кэш процессора. В итоге, при последовательном проходе по памяти можно получать к ней доступ почти настолько же быстро, насколько процессор может обрабатывать информацию, потому что куски памяти будут постоянно записываться в кэш L1. Если же двигаться по случайным адресам памяти, то зачастую кэш использовать не получится, и производительность может сильно пострадать. Если хотите узнать больше, то доклад Майка Актона на CppCon — это отличная отправная точка (и отлично проведенное время).

08/30/2016 13:52:37
0

Facebook уволил редакторов — и алгоритм пошёл вразнос



Модуль подбора «Популярных новостей» в новостной ленте Facebook работает очень хитро. «Список тем персонализируется на основе разных факторов, включая ваши отметки «Нравится» для Страниц, ваше местонахождение и те новости, которые популярны по всему сайту Facebook», — сказано в справочном центре. На сегодняшний день раздел «Популярное» со списком популярных тем (Trending Topics) доступен только на английском языке в некоторых странах.

Исторически, в Facebook работал отдел редакторов, который модерировал список популярных новостей, потому что в социальной сети нередко распространяются вирусные и фейковые новости с непроверенными источниками. Редакторы удаляли фейки и добавляли в список материалы из надёжных источников. Предполагалось, что выбор редакторов в том числе поможет обучать алгоритм. Человеческая модерация не вызывала особых претензий, пока в США не началась избирательная кампания перед президентскими выборами. И на сцену не вышел известный политик — идеальный генератор вирусных новостей.
08/30/2016 13:37:00
0