eshan sharma Ответов: 2

Я хочу прочитать 50 csv-файлов из папки. В каждом csv есть ссылки, которые я хочу открыть по одной ссылке и получить данные (Python 3.7).

Я хочу прочитать 50 CSV один за другим из пути к папке. В CSV-файле есть несколько ссылок во всех из них, я хочу открыть ссылку одну за другой и извлечь данные в текстовый файл для каждой ссылки должен быть создан новый текстовый файл.
код работает, но не дает никаких выходных данных.
вплоть до печати(list_of_rows) он дает вывод

Что я уже пробовал:

from bs4 import BeautifulSoup
import requests
#import csv
import pandas
import os
os.environ["PYTHONIOENCODING"] = "utf-8"

df_list = []
path = "C:/Users/bubai/Desktop/try/scrapy/output"

for file in os.listdir(path):
    #print(file)
    df_list.append(path + '/' + file)
    
for i in df_list:  
    df = pandas.read_csv(i,delimiter=',',usecols = [1], index_col=None, header = None) 
    #print(df)
   
    list_of_rows = [list(row) for row in df.values]
    # Print list of lists i.e. rows
    print(list_of_rows)
    
    for link in list_of_rows:
        print(link)
        r = requests.get(link)

        soup = BeautifulSoup(r.text, 'lxml')
        print(soup.text)

        fname= "DAta"+ str(i)+".csv"
        f = open(fname,'w', newline='',encoding="utf-8")
        f = open(fname,'a', newline='',encoding="utf-8")

        classs = soup.find(id = 'ContentPlaceHolder1_lblContentText')

        f.write(classs.get_text())  
        
        f.close()

Richard MacCutchan

А у тебя был вопрос?

eshan sharma

код работает, но не дает никаких выходных данных

Richard MacCutchan

Тогда с ним что-то не так. Однако единственный человек, который может выяснить, почему это так, - это вы. Раскомментируйте все операторы печати в коде и добавьте некоторые другие, чтобы вы могли видеть, что происходит во время его выполнения. Это должно помочь сузить круг подозреваемых.

eshan sharma

ладно. спасибо

Patrice T

И вот в чем вопрос ?

eshan sharma

код работает, но не дает никаких выходных данных

2 Ответов

Рейтинг:
1

OriginalGriff

Компиляция не означает, что ваш код верен! :смеяться:
Подумайте о процессе разработки как о написании электронного письма: успешная компиляция означает, что вы написали электронное письмо на правильном языке - например, на английском, а не на немецком, - а не то, что письмо содержало сообщение, которое вы хотели отправить.

Итак, теперь вы входите во вторую стадию разработки (на самом деле это четвертая или пятая, но вы перейдете к более ранним стадиям позже): тестирование и отладка.

Начните с рассмотрения того, что он делает, и как это отличается от того, что вы хотели. Это важно, потому что это дает вам информацию о том, почему он это делает. Например, если программа предназначена для того, чтобы позволить пользователю ввести число, а он удваивает его и печатает ответ, то если ввод / вывод был таким:

Input   Expected output    Actual output
  1            2                 1
  2            4                 4
  3            6                 9
  4            8                16
Тогда совершенно очевидно, что проблема заключается в бите, который удваивает его - он не прибавляет себя к себе или умножает его на 2, он умножает его на себя и возвращает квадрат входного сигнала.
Таким образом, вы можете посмотреть на код, и очевидно, что он находится где-то здесь:
int Double(int value)
   {
   return value * value;
   }

Как только у вас появится идея, что может пойти не так, начните использовать отладчик, чтобы выяснить, почему. Поместите точку останова в первую строку метода и запустите приложение. Когда он достигнет точки останова, отладчик остановится и передаст управление вам. Теперь вы можете запускать свой код построчно (так называемый "одноступенчатый") и просматривать (или даже изменять) содержимое переменных по мере необходимости (черт возьми, вы даже можете изменить код и повторить попытку, если вам это нужно).
Подумайте о том, что должна делать каждая строка кода перед ее выполнением, и сравните это с тем, что она действительно делала, когда вы использовали кнопку "Step over" для выполнения каждой строки по очереди. Он сделал то, что вы ожидали? Если да, то переходите к следующей строке.
Если нет, то почему? Чем это отличается?
Надеюсь, это поможет вам определить, в какой части этого кода есть проблема и в чем она заключается.
Это навык, и его стоит развивать, поскольку он помогает вам как в реальном мире, так и в развитии. И, как и все навыки, он только улучшается при использовании!

Рейтинг:
1

Patrice T

Цитата:
код работает, но не дает никаких выходных данных

Ваш код ведет себя не так, как вы ожидаете, или вы не понимаете, почему !

Существует почти универсальное решение: запускайте свой код на отладчике шаг за шагом, проверяйте переменные.
Отладчик здесь, чтобы показать вам, что делает ваш код, и ваша задача-сравнить с тем, что он должен делать.
В отладчике нет никакой магии, он не знает, что должен делать ваш код, он не находит ошибок, он просто помогает вам, показывая, что происходит. Когда код не делает того, что ожидается, вы близки к ошибке.
Чтобы увидеть, что делает ваш код: просто установите точку останова и посмотрите, как работает ваш код, отладчик позволит вам выполнять строки 1 на 1 и проверять переменные по мере их выполнения.

Отладчик - Википедия, свободная энциклопедия[^]

Освоение отладки в Visual Studio 2010 - руководство для начинающих[^]
Базовая отладка с помощью Visual Studio 2010 - YouTube[^]

27.3. ПДБ — отладчика Python — питон 3.6.1 документации[^]
Отладка в Python | Python покоряет Вселенную[^]
pdb – интерактивный отладчик - Python модуль недели[^]

Отладчик здесь только для того, чтобы показать вам, что делает ваш код, и ваша задача-сравнить его с тем, что он должен делать.