|
|
13.04.2011, 14:21
|
|
Asiat
Аниматика
Зарегистрирован: 2005-12-12
Сообщений: 576
|
Вопрос для гуру Неткэта.
В общем и целом, задача состоит в парсинге, преобразовании и показе в разделе данных с другого сайта. Каталог товаров.
Хотелка же - в максимально возможной интеграции получаемых данных с движком. Пока конкретных таких целей нет, а в голове витает что-то типа подключения стандартных функций навигации, кэширования данных (чем черт не шутит..), еще каких-нибудь прелестей.
Короче говоря, кто-то экспериментировал на эту тему? Подкиньте пару идей.
PS Уточнюсь поконкретней. Речь не о скриптах для парсинга и пр., а о формировании компонента (того же списка объектов, в частности) совершенно из потустороннего источника. Допустим, из файла с данными, из XML и т.д.
PPS Пока лучшее, до чего додумался, скопировать nc_objects_list и очень сильно поправить напильником куда надо. Очень похоже, что так в итоге и сделаю...
|
|
|
13.04.2011, 15:01
|
|
DiGGy
DiGGy
Зарегистрирован: 2005-04-04
Сообщений: 1546
|
Не совсем понял, что именно надо. Но из того, что понял:
Давно делал модуль импорта RSS лент. Создается компонент и в него все записи из указанных лент добавляются. По крону запускается скрипт, который парсит источники, выцепляет нужные данные, по ключевым полям ставит хеш (контрольную сумму записи) для соблюдения уникальности и добавляет в компонент. Дальнейшая работа с добавленным контентом - это уже уровень админки.
Temet nosce...
|
|
|
13.04.2011, 15:16
|
|
Asiat
Аниматика
Зарегистрирован: 2005-12-12
Сообщений: 576
|
Не.. там данные вставляются скриптом в базу, а потом выводятся стандартными средствами. А в моем случае они берутся НЕ ИЗ БАЗЫ ДАННЫХ.
Для конкретики.
Например, чел зашел в раздел. Данные на лету подгрузились из XML-источника, обработались, вывелись как надо на страницу. Причем список объектов сформировался с использованием стандартного поля "Объект в списке". Причем желательно еще это все закешировать и в следующий раз этот список выводить из кэша в течение заданного времени. Также, постраничная навигация тож работает через вызов стандартных функций и шаблонов для них. И так далее.
|
|
|
13.04.2011, 16:28
|
|
MipH
Спирин Дмитрий
Зарегистрирован: 2004-12-22
Сообщений: 252
|
У неткета нет абстракции, все запросы к информации идут напрямую к тому источнику, в котором они лежат.
так что это какая-то ерунда, если вы патаетесь скрестить неткет с каким-то там внешним источником.
Или положите все данные в БД и работайте с ними как с родными, или же просто допишите свой модуль процессинга этих данных.
bbzone@gmail.com | bbz.ru | miph.info | miph.ruВы можете обратиться ко мне, если необходима разработка функционала на NetCat
|
|
|
13.04.2011, 17:05
|
|
Asiat
Аниматика
Зарегистрирован: 2005-12-12
Сообщений: 576
|
Ну, скрещивать-то все равно надо до какой-то степени, на том стоим. Нужен единый макет, нужна единая база юзеров и т.д.
Вопрос и состоял в том, насколько тесно это можно сделать.
Но по части абстракций - тут вы видимо правы.
Я залез уже конкретно в nc_objects_list и вижу, что все подозрения в стартовом топике оправдались. Там формируется конкретный HTML-код.
Т.е. надо просто попробовать взять за основу эту функцию, убрать оттуда запросы к базе данных и добавить нужные мне.
|
|
|
13.04.2011, 23:22
|
|
DiGGy
DiGGy
Зарегистрирован: 2005-04-04
Сообщений: 1546
|
Вариант "данные обрабатывать на лету" оправдан только в случае незначительных затрат как по времени так и по ресурсам.
Ясен пень, что на лету открыть файл, а если он и большой, а затем его на валидность проверить, а затем отпарсить, а затем данные агрегировать и вывести как надо - это может быть далеко нетривиальная задача.
Так что оцените затраты и там будет видно.
Temet nosce...
|
|
|
17.04.2011, 20:35
|
|
resident
Веб-группа «Дабл Ю»
Зарегистрирован: 2005-01-10
Сообщений: 336
|
добавляйте ваш xml в компонент нетката, тем более вроде как в неткате импорт xml есть, зачем изобретать велосипед
|
|
|
17.04.2011, 23:17
|
|
DiGGy
DiGGy
Зарегистрирован: 2005-04-04
Сообщений: 1546
|
Цитата:добавляйте ваш xml в компонент нетката, тем более вроде как в неткате импорт xml есть, зачем изобретать велосипед
имхо, не каждый xml можно привести к двумерной таблице.
Можно хранить весь xml в поле, соотв-го типа. В Oracle, MS SQL Server можно писать запросы и вынимать нужные теги из xml. Но, mySQL так не умеет, елси только на пхп потом парсить, а для этого можно вбазу и не загружать.
Temet nosce...
|
|
|
18.04.2011, 08:05
|
|
Asiat
Аниматика
Зарегистрирован: 2005-12-12
Сообщений: 576
|
Велосипед нужен, т.к. есть подозрение, что элементарно места в базе не хватит
Ето ж сколько места надо под инфу с Яху.Аукционов, Алибабы, Таобао и пр.
|