Скачать файл cURL при GET запросе

@JustTakeMe · Регистрация: 02.02.2015

Author24 — интернет-сервис помощи студентам

Есть сервер, который при GET запросе http://link.ru/file?id=12345 отдает файл.

Responce header:
Cache-Control: no-store, no-cache, must-revalidate
Cache-Control: post-check=0, pre-check=0
Connection:Keep-Alive
Content-Disposition:attachment; filename="file.xls"
Content-Length:1437414
Content-Type:application/octet-stream
Date:Sun, 12 Apr 2015 13:10:25 GMT
Expires:Thu, 19 Nov 1981 08:52:00 GMT
Keep-Alive:timeout=5, max=97
Pragma:no-cache
Server:Apache/2.4.7 (Ubuntu)
Set-Cookie:QUICK_BAR_CLOSED=-1; expires=Tue, 12-May-2015 13:10:25 GMT; Max-Age=2592000; path=/
X-Powered-By:PHP/5.5.9-1ubuntu4.5

Как при помощи cURL и PHP получить и сохранить данный файл?

@Para bellum · 12.04.2015, 18:31

PHP    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<?php
    try{
        if( !$ch = curl_init() )
            throw new Exception('Curl init failed');
        
        $options = [
            CURLOPT_URL            => 'http://link.ru/file?id=12345',
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_HTTPHEADER     => [
                'User-Agent' => 'Mozilla/5.0 (Windows NT 5.1; rv:34.0) Gecko/20100101 Firefox/34.0'
            ]
        ];
        
        $file = curl_exec( $ch );
 
        file_put_contents('путь к файлу для сохранения', $file);
    }
    catch(Exception $e){
        echo $e->getMessage();
    }

@JustTakeMe · 13.04.2015, 01:36 **[ТС]**

Создает пустой файл.

Добавлено через 41 минуту
Если быть конкретнее:
var_dump($file) = string(0) ""

Добавлено через 3 часа 22 минуты
Файл там генерируется секунд 30, может он не дожидается просто? Перепробовал уже очень многое.

@Lazy_Den · 13.04.2015, 01:55

JustTakeMe, в коде, который вам дал Para bellum, кое-что пропущено. Массив параметров создали, а вот установить (функция curl_setopt_array) их забыли

PHP    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<?php
try{
    if( !$ch = curl_init() ) 
        throw new Exception('Curl init failed');
        
        $options = [
            CURLOPT_URL            => 'http://link.ru/file?id=12345',
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_HTTPHEADER     => [
                'User-Agent' => 'Mozilla/5.0 (Windows NT 5.1; rv:34.0) Gecko/20100101 Firefox/34.0'
            ]
        ];
        curl_setopt_array($ch, $options);
        $file = curl_exec( $ch );
        
        file_put_contents('путь к файлу для сохранения', $file);
 
} catch(Exception $e){
    echo $e->getMessage();
}

И еще один маленький момент - определение массива коротким синтаксисом - [] - добавлено начиная с PHP 5.4. Если версия у вас ниже, то используйте обычную конструкцию - array()

@JustTakeMe · 13.04.2015, 01:59 **[ТС]**

Lazy_Den, Да, я заметил, что опции не были привязаны при получении boolean(false). Исправил сразу, не стал просто об этом писать. Все ровно получаю 0 строк.
Может не все опции указаны?
Я уже пробовал указывать:
"Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Connection: keep-alive",
"Keep-Alive: 300"

@Lazy_Den · 13.04.2015, 02:03

P.S. И еще... Присваивание значение переменной внутри условия допустимо, но желательно обернуть его в скобки. То есть:

PHP    
        
    Скопировано
1
if( ! ( $ch = curl_init() ) )

Добавлено через 1 минуту

Сообщение от JustTakeMe

Все ровно получаю 0 строк.

Определить наугад сложно. Если это не военная тайна, то дайте адрес. Может чего и придумаем.

@JustTakeMe · 13.04.2015, 02:25 **[ТС]**

Lazy_Den, никаких тайн. Адресс :
Это площадка поставщика, бухам нужен ежедневный актуальный прайс, причем логин пароль им доверить нельзя.
Но только вот без авторизации на сайте, прайс загружаться не будет.
sid судя по всему session id. На стороне сервера уже определяется, авторизован клиент или нет.

Причем я проверял, cURL авторизуется и получает свой sid.
Может он его потом сбрасывает и не хранит? Или тут дело в сессиях?

@Lazy_Den · 13.04.2015, 02:45

JustTakeMe, Устанавливаете куки, потом логинитесь вы тоже через cURL? В общем, для начала попробуйте так:

PHP    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
<?php
try{
    if( ! ( $ch = curl_init() ) ) 
        throw new Exception('Curl init failed');
        
        $options = [
            CURLOPT_URL            => 'http://link.ru/file?id=12345',
            CURLOPT_RETURNTRANSFER => 1,
            CURLOPT_FAILONERROR => 1,
            CURLOPT_FOLLOWLOCATION => 1,
            CURLOPT_TIMEOUT => 30, 
            CURLOPT_HTTPHEADER     => [
                'User-Agent' => 'Mozilla/5.0 (Windows NT 5.1; rv:34.0) Gecko/20100101 Firefox/34.0',
            ]
        ];
                
        curl_setopt_array($ch, $options);
        $file = curl_exec( $ch );
        
        file_put_contents('output.xls',$file);
    
    
} catch(Exception $e){
    echo $e->getMessage();
}

@JustTakeMe · 13.04.2015, 02:54 **[ТС]**

Lazy_Den, Так и думал, что не хватает каких-то опций для cURL, добавил:
CURLOPT_FAILONERROR => 1,
CURLOPT_FOLLOWLOCATION => 1,
CURLOPT_TIMEOUT => 30,
30 ему не хватало, поставил таймаут на 60 и сохранил, алилуя!
Спасибо огромное!

@Fedor Vlasenko · 13.04.2015, 03:04

не совсем понятно использование curl в данной задаче. нынче модно все дырки им закрывать

file_get_contents , file_put_contents дает возможность в параметре передавать context все нужные вам заголовки (авторизоваться в вашем случае)
http://php.net/manual/ru/context.http.php

@JustTakeMe · 13.04.2015, 03:08 **[ТС]**

Poznakomlus, Авторизоваться то надо как-то..

@Fedor Vlasenko · 13.04.2015, 03:24

так-же как и в curl

это те-же самые заголовки

@Para bellum · 13.04.2015, 06:27

Сообщение от Lazy_Den

в коде, который вам дал Para bellum, кое-что пропущено.

Да, заработался.

Сообщение от Poznakomlus

не совсем понятно использование curl в данной задаче.

Как автор попросил, такой я и показал пример.

А если в php.ini выключена настройка allow_url_fopen, то file_get_contents не сработает.
Мало ли, вдруг хостинг захотим поменять, а там бац - и не работает. Всё равно придётся с использованием curl переписывать.
Это я так, все перспективы описываю

.

Новые блоги и статьи Все статьи Все блоги /
Создаем Telegram бот на TypeScript с grammY run.dev 05.04.2025 Одна из его самых сильных сторон Telegram — это интеграция ботов прямо в экосистему приложения. В отличие от многих других платформ, он предоставляет разработчикам мощный API, позволяющий создавать. . .	Паттерны распределённых транзакций в Event-Driven микросервисах ArchitectMsa 05.04.2025 Современные программные системы всё чаще проектируются как совокупность взаимодействующих микросервисов. И хотя такой подход даёт множество преимуществ — масштабируемость, гибкость, устойчивость к. . .	Работа с объемным DOM в javascript Htext 04.04.2025 Сегодня прочитал статью тут о расходах памяти в JS, ее утечках и т. п. И вот что вспомнил из своей недавней практики. Может, кому пригодится. Хотя, в той статье об этом тоже есть. Дело в том, что я. . .	Оптимизация производительности Node.js с помощью кластеризации run.dev 04.04.2025 Масштабирование приложений для обработки тысяч и миллионов запросов — обыденная задача для многих команд. Node. js, благодаря своей асинхронной событийно-ориентированной архитектуре, стал популярной. . .	Управление зависимостями в Python с Poetry py-thonny 04.04.2025 Стандартный инструмент для установки пакетов в Python - pip - прекрасно справляется с базовыми сценариями: установил пакет командой pip install и используешь его. Но что произойдёт, когда разные. . .
Мониторинг с Prometheus в PHP Jason-Webb 04.04.2025 Prometheus выделяется среди других систем мониторинга своим подходом к сбору и хранению метрик. В отличие от New Relic, который использует агентный подход и отправляет данные во внешнее хранилище,. . .	Пакет Context в Golang: Управление потоками и ресурсами golander 04.04.2025 Работа с горутинами в Go часто напоминает управление непослушными детьми - они разбегаются кто куда, делают что хотят и не всегда завершаются вовремя. К счастью, в Go 1. 7 появился пакет context,. . .	Контейнеризация React приложений с Docker Reangularity 03.04.2025 Контейнеризация позволяет упаковать приложение со всеми его зависимостями в автономный контейнер, который можно запустить на любой платформе с установленным Docker. Это существенно упрощает процессы. . .	Свой попап в SwiftUI mobDevWorks 03.04.2025 SwiftUI, как декларативный фреймворк от Apple, предоставляет множество инструментов для создания пользовательских интерфейсов. В нашем распоряжении есть такие API как alerts, popovers, action sheets. . .	Антипаттерны микросервисной архитектуры ArchitectMsa 03.04.2025 Хорошо спроектированная микросервисная система может выдержать испытание временем, оставаясь гибкой, масштабируемой и устойчивой к большинству проблем. Такая архитектура обладает высоким уровнем. . .

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14

	Скачать файл cURL при GET запросе 12.04.2015, 16:21. Показов 23657. Ответов 12 Метки нет (Все метки) Есть сервер, который при GET запросе http://link.ru/file?id=12345 отдает файл. Responce header: Cache-Control: no-store, no-cache, must-revalidate Cache-Control: post-check=0, pre-check=0 Connection:Keep-Alive Content-Disposition:attachment; filename="file.xls" Content-Length:1437414 Content-Type:application/octet-stream Date:Sun, 12 Apr 2015 13:10:25 GMT Expires:Thu, 19 Nov 1981 08:52:00 GMT Keep-Alive:timeout=5, max=97 Pragma:no-cache Server:Apache/2.4.7 (Ubuntu) Set-Cookie:QUICK_BAR_CLOSED=-1; expires=Tue, 12-May-2015 13:10:25 GMT; Max-Age=2592000; path=/ X-Powered-By:PHP/5.5.9-1ubuntu4.5 Как при помощи cURL и PHP получить и сохранить данный файл? 0

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14
	13.04.2015, 01:36 [ТС]
	Создает пустой файл. Добавлено через 41 минуту Если быть конкретнее: var_dump($file) = string(0) "" Добавлено через 3 часа 22 минуты Файл там генерируется секунд 30, может он не дожидается просто? Перепробовал уже очень многое. 0

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14
	13.04.2015, 01:59 [ТС]
	Lazy_Den, Да, я заметил, что опции не были привязаны при получении boolean(false). Исправил сразу, не стал просто об этом писать. Все ровно получаю 0 строк. Может не все опции указаны? Я уже пробовал указывать: "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8", "Connection: keep-alive", "Keep-Alive: 300" 0

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14
	13.04.2015, 02:25 [ТС]
	Lazy_Den, никаких тайн. Адресс : Это площадка поставщика, бухам нужен ежедневный актуальный прайс, причем логин пароль им доверить нельзя. Но только вот без авторизации на сайте, прайс загружаться не будет. sid судя по всему session id. На стороне сервера уже определяется, авторизован клиент или нет. Причем я проверял, cURL авторизуется и получает свой sid. Может он его потом сбрасывает и не хранит? Или тут дело в сессиях? 0

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14
	13.04.2015, 02:54 [ТС]
	Lazy_Den, Так и думал, что не хватает каких-то опций для cURL, добавил: CURLOPT_FAILONERROR => 1, CURLOPT_FOLLOWLOCATION => 1, CURLOPT_TIMEOUT => 30, 30 ему не хватало, поставил таймаут на 60 и сохранил, алилуя! Спасибо огромное! 0

@Fedor Vlasenko 936 / 693 / 236 Регистрация: 01.02.2015 Сообщений: 1,848
	13.04.2015, 03:04
	не совсем понятно использование curl в данной задаче. нынче модно все дырки им закрывать file_get_contents , file_put_contents дает возможность в параметре передавать context все нужные вам заголовки (авторизоваться в вашем случае) http://php.net/manual/ru/context.http.php 1

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14
	13.04.2015, 03:08 [ТС]
	Poznakomlus, Авторизоваться то надо как-то.. 0

@Fedor Vlasenko 936 / 693 / 236 Регистрация: 01.02.2015 Сообщений: 1,848
	13.04.2015, 03:24
	так-же как и в curl это те-же самые заголовки 0

@Para bellum 5755 / 4134 / 1508 Регистрация: 06.01.2011 Сообщений: 11,276
	13.04.2015, 06:27
	Сообщение от Lazy_Den в коде, который вам дал Para bellum, кое-что пропущено. Да, заработался. Сообщение от Poznakomlus не совсем понятно использование curl в данной задаче. Как автор попросил, такой я и показал пример. А если в php.ini выключена настройка allow_url_fopen, то file_get_contents не сработает. Мало ли, вдруг хостинг захотим поменять, а там бац - и не работает. Всё равно придётся с использованием curl переписывать. Это я так, все перспективы описываю . 1

Скачать файл cURL при GET запросе

Решение